JP2020088516A - テレビ会議システム - Google Patents

Abstract

【課題】高い臨場感を備えたテレビ会議システムを、簡易な構成で、しかも低コストで実現すること。【解決手段】発言者の音声を収音する複数のマイクロホン２４と、複数のマイクロホン２４で収音した音声信号に基づいてアンビソニックス信号を生成する生成部１６Ａと、生成部１６Ａから受け取ったアンビソニックス信号から音声信号を再生する再生部１８Ａと、再生部１８Ａから受け取った音声信号を拡声する複数のスピーカ３０と、発言者を含む映像を撮像した撮像信号を出力する撮像部２６と、撮像部２６から受け取った撮像信号を表示する表示部２８と、を含み、表示部２８の映像および複数のスピーカ３０からの音声を視聴しつつ会議に参加する参加者３２が知覚する複数のスピーカ３０からの音声の方向が、映像に表示された発言者の方向と一致する。【選択図】図１

Description

本発明は、テレビ会議システム、特に高い臨場感を備えたテレビ会議システムに関する。

従来、会議システムにおける臨場感の向上を課題とした文献として、例えば特許文献１が知られている。特許文献１に開示された電話会議システムは、複数の拠点間で遠隔通話により会議を実施する電話会議システムであって、ステレオヘッドホンあるいはステレオイヤホンとマイクを利用して相互に通話を行う手段と、発言者の音像位置を任意に設定するためのレンダリング処理手段とを会議参加者側それぞれに設けたことを特徴とする。すなわち、予め発言者の位置を自動的に決めておき、あるいは設定者が任意に決めておき、その発言者の方向に近い、予め測定してある頭部伝達関数を発言者のマイクロホン信号に畳み込むことによって発言者の方向から音声が聞こえるようにするものである。会議参加者は各々マイクロホンとヘッドホンとが一体となったヘッドセットを装着する。

ここで、会議システムにおける音像定位方法の従来例について説明する。例えば会議システムにおける収音として、会議テーブルの上に配置した１個の無指向性のマイクロホン、あるいは単一／無指向性マイクロホンを用いて、あらゆる方向の音声を同時に、または、１マイクロホンずつ個別に収音する方法がある。収音した音声を圧縮（エンコード）して、ＩＳＤＮ、社内のＬＡＮ回線、インターネットなどのネットワークを通じて遠隔地の会議室に伝送し、該収音した音声を復元（デコード）し音声データに戻した信号を必要に応じてアンプ（増幅器）で増幅し、相手側の会議室内のテーブルや会議室の壁、天井に配置したスピーカから拡声する。

また他の会議システムにおける音像定位方法では、ある音場を別の空間に再現する方法として、原空間の中の受音領域と再生空間とで、音響物理量を一致させる方式（キルヒホッフ・ヘルムホルツ積分定理に基づく方式）を用いている。本方法はすなわち境界音場制御法を用いた例である。再生空間において受音領域境界上の音響物理信号を再現するスピーカ信号を求めることを特徴としている。基本的には、原空間の受音領域境界にマイクロホンを多数配置して音圧と音圧傾度を測定し、これを再生空間境界に配置したスピーカで再生すれば、そのまま再生空間で音場が再現できる。

さらに、臨場感再生方式の一例として、ＷＦＳ（Ｗａｖｅ Ｆｉｅｌｄ Ｓｙｎｔｈｅｓｉｓ：波面合成法）と称される方式もある。ＷＦＳは、音声の伝わり方やその音声を受け取る右耳と左耳との間の遅延、音場の空間サイズ等に応じてリアルタイムで計算／レンダリングして、スピーカーアレイシステムに出力するという３Ｄ音響システムをいう。ＷＦＳ方式ではスイートスポットがないため視聴場所に制約されずリアルなサラウンド効果が楽しめ、限りなく現実同様の音場空間を生成することができるとされている。

特開２００６−２７９４９２号公報

ここで、テレビ会議システムのように音声が発言者と不可分の関係にあるシステムにおいて会議の臨場感を高めるためには、聴取（受聴）側で当該発言者の識別が容易であることが必要である。つまり、例えば遠隔地との間でのテレビ会議システムにおいて会議の臨場感を向上させるためには、発言者（発話者）の音声の方向と聴取者の視覚の方向とを一致させるための音像定位拡声システムが必要となる。

この点、特許文献１に開示された電話会議システムでは、予め発言者の方向の頭部伝達関数を用意しておくが、発言者が位置を移動しても音像の位置が変わらないため、発言者の視覚上の位置と音像の位置とが異なる場合が生じ違和感を感じる場合がある。しかも、ヘッドセットを用いなければならないので利用者が煩わしさを感ずる場合があるという問題もある。

また、上記の単一のマイクロホンを用いる方式では、拡声された音声に当該音声の方向の情報が含まれていないため、音声はスピーカの方向から聞こえることになる。テレビに映された映像を見ることで誰が発言しているかはおおよそわかるが、発言者の方向と音声の聞こえる方向が一致しないため違和感がある。

一方、上記の境界音場制御法を用いる方式を実現するには、原音場に多数のモノポールマイクロホン、ダイポールマイクロホン、および再生音場に多数のスピーカを配置する必要があり、たとえば、水平方向の音場を周波数８ｋＨｚまで再現するためには、約２ｃｍごとにマイクロホンとスピーカを配置することが必要となる。そのため、コストが高くなるという問題がある。

さらにＷＦＳシステムでは数多くのマイクロホン、スピーカ、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）等を使用するために、コストが高く、システムが大規模、複雑になるという課題がある。

本発明は上記問題点を解決するためになされたものであり、高い臨場感を備えたテレビ会議システムを、簡易な構成で、しかも低コストで実現することを目的とする。

上記目的を達成するために、第１の態様のテレビ会議システムは、発言者の音声を収音する複数のマイクロホンと、前記複数のマイクロホンで収音した音声信号に基づいてアンビソニックス信号を生成する生成部と、前記生成部から受け取った前記アンビソニックス信号から音声信号を再生する再生部と、前記再生部から受け取った音声信号を拡声する複数のスピーカと、前記発言者を含む映像を撮像した撮像信号を出力する撮像部と、前記撮像部から受け取った撮像信号を表示する表示部と、を含み、前記表示部の映像および前記複数のスピーカからの音声を視聴しつつ会議に参加する参加者が知覚する前記複数のスピーカからの音声の方向が、前記映像に表示された前記発言者の方向と一致するものである。

第１の態様のテレビ会議システムでは、複数のマイクロホンで収音した音声信号に基づいて生成部によりアンビソニックス信号を生成し、再生部により生成部から受け取ったアンビソニックス信号から音声信号を再生し、再生部から受け取った音声信号を複数のスピーカで拡声し、また、撮像部により発言者を含む映像を撮像した撮像信号を出力し、撮像部から受け取った撮像信号を表示部に表示することにより、表示部の映像および複数のスピーカからの音声を視聴しつつ会議に参加する参加者が知覚する複数のスピーカからの音声の方向が映像に表示された発言者の方向と一致する。これにより高い臨場感を備えたテレビ会議システムを、簡易な構成で、しかも低コストで実現することが可能となる。

第２の態様のテレビ会議システムは、第１の態様のテレビ会議システムにおいて、前記複数のマイクロホンと前記撮像部とを隣接させて配置するものである。

第２の態様のテレビ会議システムでは、複数のマイクロホンと撮像部とを隣接させて配置する。これによりアンビソニックス方式を用いた音声信号と、映像信号との関連付けがより容易となる。

第３の態様のテレビ会議システムは、第１の態様または第２の態様のテレビ会議システムにおいて、前記複数のスピーカは、複数の前記発言者の周囲の少なくとも一部を囲むように配置されたものである。

第３の態様のテレビ会議システムでは、複数のスピーカを、複数の発言者の周囲の少なくとも一部を囲むように配置する。これにより、アンビソニックス方式による音像の定位がより容易となる。

第４の態様のテレビ会議システムは、第３の態様のテレビ会議システムにおいて、前記複数のスピーカは、複数の前記発言者の音声のいずれもが到来しないと予測される位置には配置しないものである。

第４の態様のテレビ会議システムでは、複数の発言者の音声のいずれもが到来しないと予測される位置にはスピーカを配置しない。これによりスピーカの個数を削減することが可能となる。

第５の態様のテレビ会議システムは、第１の態様から第４の態様のいずれかのテレビ会議システムにおいて、前記生成部は、前記複数のマイクロホンからの前記音声信号を増幅する送信側増幅回路、アナログ信号である前記送信側増幅回路の出力をデジタル信号に変換するアナログデジタル変換回路、および前記アナログデジタル変換回路の出力を前記アンビソニックス信号に符号化する符号化回路を備え、前記再生部は、前記アンビソニックス信号を復号化する復号化回路、デジタル信号である前記復号化回路の出力をアナログ信号に変換するデジタルアナログ変換回路、前記デジタルアナログ変換回路の出力を増幅して前記複数のスピーカに送る受信側増幅回路を備えるものである。

第５の態様のテレビ会議システムでは、生成部が、複数のマイクロホンからの音声信号を増幅する送信側増幅回路、アナログ信号である送信側増幅回路の出力をデジタル信号に変換するアナログデジタル変換回路、およびアナログデジタル変換回路の出力をアンビソニックス信号に符号化する符号化回路を備え、再生部が、アンビソニックス信号を復号化する復号化回路、デジタル信号である復号化回路の出力をアナログ信号に変換するデジタルアナログ変換回路、デジタルアナログ変換回路の出力を増幅して複数のスピーカに送る受信側増幅回路を備えている。これにより、会議室の環境に適したアンビソニックス信号の生成、再生を行うことが可能となる。

第６の態様のテレビ会議システムは、第５の態様のテレビ会議システムにおいて、前記生成部と前記再生部との間、および前記撮像部と前記表示部との間の各々を伝送回線によって接続するネットワークをさらに備え、前記符号化回路は前記アンビソニックス信号を前記伝送回線に出力する送信回路を備え、前記復号化回路は伝送回線から前記アンビソニックス信号を受信する受信回路を備えるものである。

第６の態様のテレビ会議システムでは、生成部と再生部との間、および撮像部と表示部との間の各々を伝送回線によって接続するネットワークをさらに備え、符号化回路はアンビソニックス信号を伝送回線に出力する送信回路を備え、復号化回路は伝送回線からアンビソニックス信号を受信する受信回路を備えている。これにより、遠隔地同士のテレビ会議システムが構築可能となる。

第７の態様のテレビ会議システムは、第５の態様または第６の態様のテレビ会議システムにおいて、前記復号化回路は、前記複数のスピーカの配列に応じて前記アンビソニックス信号に復号化するものである。

第７の態様のテレビ会議システムでは、復号化回路が複数のスピーカの配列に応じてアンビソニックス信号に復号化する。これにより、会議室内の既存のスピーカシステムを用いてアンビソニックス方式を実現することが可能となる。

第８の態様のテレビ会議システムは、第１の態様、および第３の態様から第７の態様のいずれかのテレビ会議システムにおいて、前記撮像部は、環状に位置する複数の前記参加者の各々と前記表示部との間に配置され、前記複数のマイクロホンは、環状に位置する複数の前記発言者の中央に配置され、前記生成部は、前記複数のマイクロホンの位置を前記撮像部の位置に座標変換した後、前記アンビソニックス信号を生成するものである。

第８の態様のテレビ会議システムでは、撮像部が、環状に位置する複数の参加者の各々と表示部との間に配置され、複数のマイクロホンが、環状に位置する複数の発言者の中央に配置され、生成部は、複数のマイクロホンの位置を撮像部の位置に座標変換した後、アンビソニックス信号を生成する。これにより、マイクロホンによる収音の条件をよりよい条件としつつ映像に即したアンビソニックス方式の収音が可能となる。

本開示によれば、高い臨場感を備えたテレビ会議システムを、簡易な構成で、しかも低コストで実現することができる。

第１の実施の形態に係るテレビ会議システムの構成の一例を示すブロック図である。 第１の実施の形態に係るテレビ会議システムの音声送信部、音声受信部、映像送信部、および映像受信部の構成の一例を示すブロック図である。 実施の形態に係る、（ａ）、（ｂ）はアンビソニックスマイクロホンの一例を、（ｃ）はマルチマイクロホンの一例を示す図である。 実施の形態に係るマルチマイクロホンの配置の一例を示す平面図である。 第２の実施の形態に係るテレビ会議システムの構成の一例を示すブロック図である。

以下、図面を参照して、本発明を実施するための形態について詳細に説明する。従来技術に係るテレビ会議システムでは映像に映し出された参加者のうちの誰が発言しているのかが分からないことも多く、臨場感に欠けていたが、本発明により遠隔地の会議参加者があたかも同じ会議室で会議をしているような臨場感を得ることができる。本実施の形態では、高い臨場感を備えたテレビ会議システムを、簡易な構成で、しかも低コストで実現するために、音声の伝送系にアンビソニックス方式を用いる。アンビソニックス方式とは、３次元空間の３６０度全ての方向の音声を記録、ミキシング、再生できる録音技術である。アンビソニックス方式のひとつの特徴は、再生する際のスピーカのレイアウトと独立した方式で音声を記録し、再生環境におけるスピーカのレイアウトに合わせてデコードできることである。さらに、アンビソニックス方式の大きな特徴として、信号処理により再生前に音場を自由にかつ無劣化で回転できることが挙げられる。

［第１の実施の形態］
図１から図４を参照して、本実施の形態に係るテレビ会議システム１０について説明する。本実施の形態では、テレビ会議システム１０が会議室１２Ａおよび１２Ｂ（以下、総称する場合は「会議室１２」）に配置され、会議室１２Ａに居る参加者３２Ａ（一人または複数人）と、会議室１２Ｂに居る参加者３２Ｂ（一人または複数人） との間で音声および映像を媒体とする会議が行われる場合を例示して説明する。以下、参加者３２Ａと３２Ｂを総称する場合は「参加者３２」という。参加者の配置は特に限定されないが、本実施の形態では図１に示すようにテーブル３４Ａまたは３４Ｂ（以下、総称する場合は「テーブル３４」）の周囲に環状に配置しているものとする。

図１に示すように、テレビ会議システム１０は、音声伝送装置４０Ａ、４０Ｂ（以下、総称する場合は「音声伝送装置４０」）、および映像伝送装置４２Ａ、４２Ｂ（以下、総称する場合は「映像伝送装置４２」）を含んで構成されている。音声伝送装置４０Ａは会議室１２Ａ内の音声を会議室１２Ａから１２Ｂに伝送する装置であり、音声伝送装置４０Ｂは、会議室１２Ｂ内の音声を会議室１２Ｂから１２Ａに伝送する装置である。また、映像伝送装置４２Ａは会議室１２Ａ内の映像を会議室１２Ａから１２Ｂに伝送する装置であり、映像伝送装置４２Ｂは、会議室１２Ｂ内の映像を会議室１２Ｂから１２Ａに伝送する装置である。従って、音声伝送装置４０、映像伝送装置４２は会議室１２Ａ、１２Ｂについて対称であるので、以下片側の音声伝送装置４０Ａ、映像伝送装置４２Ａについて説明する。

図１に示すように、音声伝送装置４０Ａはマイクロホン２４Ａ、音声送信部１６Ａ、音声受信部１８Ａ、複数（図１では２０個の場合を例示している）のスピーカ３０Ｂ、および制御部８０Ａを備えている。一方、映像伝送装置４２Ａはビデオカメラ２６Ａ、映像送信部２０Ａ、映像受信部２２Ａ、およびスクリーン２８Ｂを備えている。

ここで、本実施の形態では音声送信部１６Ａと音声受信部１８Ａとの間、および映像送信部２０Ａと映像受信部２２Ａとの間はネットワーク７０を介して接続されている。ネットワーク７０としては、例えばＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネット、ＩＳＤＮ（Ｉｎｔｅｇｒａｔｅｄ Ｓｅｒｖｉｃｅｓ Ｄｉｇｉｔａｌ Ｎｅｔｗｏｒｋ）等特に限定されず、また無線、有線の区分も問わない。本実施の形態では会議室１２Ａと１２Ｂとが互いに遠隔地である形態を例示しているのでネットワーク７０が介在する形態を例示して説明するが、会議室１２Ａと１２Ｂとが隣同士のような近距離に位置する場合はネットワーク７０を介在させず、音声送信部１６Ａと音声受信部１８Ａとの間、および映像送信部２０Ａと映像受信部２２Ａとの間を直結してもよい。

マイクロホン２４Ａは会議室１２Ａ内の音声を収音する。上記のように、本実施の形態では音声の定位方式にアンビソニックス方式を用いているので、マイクロホン２４Ａもアンビソニックス対応のマイクロホンを用いている。マイクロホン２４Ａの詳細については後述する。なお、後述するように、本実施の形態に係るマイクロホン２４Ａ（２４Ｂ）は、複数の個別マイクロホン３６を含んで構成されている。

スピーカ３０Ｂは会議室１２Ｂ内の壁面に沿って参加者３２Ｂを囲むように配置され、音声伝送装置４０Ａを介して送信された会議室１２Ａ内の音声を会議室１２Ｂ内で拡声する。本実施の形態では２０個のスピーカ３０Ｂを配置する形態を例示して説明するが、これに限定されず、発話者（発言者）の識別の精度等を勘案して適宜な数を選択してよい。
また、必ずしも壁面に配置する必要もなく例えば天井、テーブル３４の上等であってもよい。なお、以下ではスピーカ３０Ａと３０Ｂを総称する場合は「スピーカ３０」という。

音声送信部１６Ａはマイクロホン２４Ａで収音された音声信号を受けて予め定められた処理を行い、ネットワーク７０に送り出す。一方、音声受信部１８Ａはネットワーク７０から該音声信号を受け取り、予め定められた処理を行ってスピーカ３０Ｂに出力する。

ビデオカメラ２６Ａは会議室１２Ａ内の参加者を中心とする映像を撮像するカメラであり、本実施の形態では特に限定されず一般的なビデオカメラを用いることができる。映像送信部２０Ａはビデオカメラ２６Ａからの映像信号をネットワーク７０に送信する。映像受信部２２Ａはネットワーク７０から映像信号を受信し、スクリーン２８Ｂに表示する。

制御部８０Ａ、８０Ｂは各々図示を省略するＣＰＵ、ＲＯＭ、ＲＡＭ等を含んで構成され、制御部８０Ａは音声伝送装置４０Ａおよび映像伝送装置４２Ａを統括制御し、制御部８０Ｂは音声伝送装置４０Ｂおよび映像伝送装置４２Ｂを統括制御する。より具体的には、例えば以下で説明するエンコーダ５４、デコーダ６０における符号化方式、復号化方式の設定、変更等を行う。

図２を参照して、音声送信部１６Ａ、１６Ｂ（以下、総称する場合は「音声送信部１６」）、音声受信部１８Ａ、１８Ｂ（以下、総称する場合は「音声受信部１８」）、映像送信部２０Ａ、２０Ｂ（以下、総称する場合は「映像送信部２０」）、映像受信部２２Ａ、２２Ｂ（以下、総称する場合は「映像受信部２２」）についてより詳細に説明する。

図２（ａ）に示すように音声送信部１６Ａは増幅器５０、Ａ／Ｄ（アナログデジタル）変換器５２、エンコーダ（図２（ａ）では「ＥＮＣ」と表記）５４、および送信器５６（図２（ａ）では「ＴＸ」と表記）を備えて構成されている。Ａ／Ｄ変換器５２にはアンチエイリアスフィルタを含ませてもよい。なお、音声送信部１６Ｂの構成は音声送信部１６Ａと同様なので説明を省略する。

増幅器５０はマイクロホン２４Ａからの音声信号を増幅するアンプである。ただし、増幅器５０は該音声信号のレベル等に応じて必要な場合に設ければよい。Ａ／Ｄ変換器５２はアナログ信号であるマイクロホン２４Ａからの音声信号をデジタル信号に変換する。エンコーダ５４はＡ／Ｄ変換器５２からのデジタル音声信号をアンビソニックス方式の信号（アンビソニックス信号）に符号化しアンビソニックス信号を生成する。送信器５６はエンコーダ５４から受け取ったアンビソニックス信号をネットワーク７０に送出する。送信器５６ではネットワーク７０における伝送形式に即した符号に変換してからアンビソニックス信号を送信する場合もある。

一方図２（ｂ）に示すように、音声受信部１８Ａは受信器５８（図２（ｂ）では「ＲＸ」と表記）、デコーダ６０（図２（ｂ）では「ＤＥＣ」と表記）、Ｄ／Ａ（デジタルアナログ）変換器６２、および増幅器６４を含んで構成されている。デコーダ６０にはアンチエイリアスフィルタを含ませてもよい。なお、音声受信部１８Ｂの構成は音声受信部１８Ａと同様なので説明を省略する。

受信器５８はネットワーク７０を介して送信された音声信号（アンビソニックス信号）を受信する。送信器５６で音声信号に対し所定の符号化がなされていた場合には復号化する。デコーダ６０は受信器５８で受信されたアンビソニックス信号を復号化し、音声信号を再生する。本復号化では、会議室１２内のスピーカ３０の個数、配置等を考慮した復号化が実行される。Ｄ／Ａ変換器６２はデコーダ６０で再生されたデジタル信号である音声信号をアナログ信号に変換する。増幅器６４はＤ／Ａ変換器６２からの音声信号を増幅し、後段のスピーカ３０Ｂを該音声信号によって駆動する。ただし、増幅器６４は該音声信号のレベル等に応じて必要な場合に設ければよい。スピーカ３０Ｂは会議室１２Ｂの参加者に向けて該音声信号を拡声する。

一方、図２（ｃ）に示すように映像送信部２０Ａは送信器６６を含んで構成されている。送信器６６はビデオカメラ２６Ａから受け取った会議室１２Ａ内の参加者を含む映像信号をネットワーク７０に送信する。送信器６６では映像信号をネットワーク７０の伝送形式に即した符号に変換する場合もある。映像送信部２０Ｂも映像送信部２０Ａと同様の構成である。

一方、図２（ｄ）に示すように映像受信部２２Ａは受信器６８を含んで構成されている。受信器６８はネットワーク７０から会議室１２Ａ内の参加者を含む映像信号を受信する。送信器６６で映像信号に対し所定の符号化がなされていた場合には復号化する。映像受信部２２Ｂも映像受信部２２Ａと同様の構成である。

本実施の形態に係るテレビ会議システム１０では、マイクロホン２４Ａ、２４Ｂ（以下、総称する場合は「マイクロホン２４」）、およびビデオカメラ２６Ａ、２６Ｂ（以下、総称する場合は「ビデオカメラ２６」）の配置位置は特に限定されないが、一例として図１に示すように、環状に配置する参加者の前方（換言すれば、テーブル３４とスクリーン２８との間）に配置してもよい。その際、マイクロホン２４とビデオカメラ２６は近接させて配置するのが好ましい。

以上のような音声伝送装置４０Ａ、映像伝送装置４２Ａの動作により、会議室１２Ａ内の音声信号と映像信号が会議室１２Ｂに伝送される。同様に、音声伝送装置４０Ｂ、映像伝送装置４２Ｂの動作により、会議室１２Ｂ内の音声信号と映像信号が会議室１２Ａに伝送され、会議室１２Ａと１２Ｂとの間のテレビ会議が行われる。

なお、本実施の形態では、会議室１２Ａ、１２Ｂで各々１台ずつのビデオカメラ２６Ａ、２６Ｂを用いる形態を例示して説明したがこれに限られない。ビデオカメラ２６Ａおよび２６Ｂとして各々２台のビデオカメラを用いることにより３Ｄ映像信号として伝送してもよい。その場合、受け側で３Ｄエンコーダを用いることにより３Ｄ映像として受聴することが可能である。

次に図３を参照して、本実施の形態に係るマイクロホン２４についてより詳細に説明する。図３（ａ）は最も基本的なアンビソニックスマイクロホンであり、４つの個別マイクロホン（マイクロホンカプセル）３６を含んで構成されている。各々の個別マイクロホン３６の方向は正四面体の４つの面の法線方向となっている。これらの４つのマイクロホンカプセルで収音された信号の全体はＡフォーマット信号と呼ばれる。アンビソニックス方式では、このＡフォーマット信号をさらにＢフォーマット信号に変換して使用する。Ｂフォーマット信号とは、Ａフォーマット信号を所定の収音指向特性で収音した場合の信号表現に変換したものである。

例えばＢフォーマットの０次の収音指向特性は無指向性のマイクロホンで収音した場合の収音信号に対応し、１次の収音指向特性は互いに空間的に直交する双指向性のマイクロホンで収音した場合の収音信号に対応する。つまり、アンビソニックマイクロホンでは、音圧と音圧ベクトルに相当する量が得られる。図３（ｂ）はＸ、Ｙ、Ｚ方向の１次の指向特性を合成して示している。また、図３（ｂ）中に符号「Ｗ」が付された点線で示す円は０次の収音指向特性を示している。

本実施の形態に係るマイクロホン２４としては図３（ａ）に示すアンビソニックスマイクロホンに限られず、図３（ｃ）に示すような球面上に多数個の個別マイクロホン３６が配置されたマルチマイクロホンとしてのマイクロホン２４であってもよい。あるいは、図４（ａ）に示すように、中心からの距離ｄ／２の近傍で任意の位置に配置された多数個（図４（ａ）では１１個の場合を例示している）の個別マイクロホン３６から構成されたマイクロホン２４であってもよい。

さらに、本実施の形態では音像の水平方向の定位だけが再現できればよいので、図４（ｂ）から（ｄ）に示すように、個別マイクロホン３６を水平面上に配置させた構成のマイクロホン２４でもよい。個別マイクロホン３６の個数が増えるほどアンビソニックスの次数が大きくなり、音像の定位精度がよくなる。図４（ｂ）は４個の個別マイクロホン３６を用いた１次の例を、図４（ｃ）は１４個の個別マイクロホン３６を用いた６次の例を、図４（ｄ）は９個の個別マイクロホン３６を用いた４次の例を各々示している。なお、図４における個別マイクロホン３６は一例として無指向性のマイクロホンとされている。

次に、本実施の形態におけるアンビソニックス信号の生成、再生方法について詳細に説明する。

振幅Ｑの平面波がψ、φ方向（ψは方位角、φは真上を０°とする仰角）から到来する場合、


で平面波が作る音圧ｐを球面調和展開すると音圧ｐは、下記（１）式で表される。

なお、上記（１）式において、


である。

上記（１）式をｎ次で打ち切り、行列表現して、音源（本実施の形態では主として発話者からの音声）の平面波に、球面調和関数を乗じると、下記（２）式が得られる。

上記太文字のｒ（ｒ，θ，φ）で示される受音位置の各列が独立となるように適切な配置をとると擬似逆行列を計算することができる。上記（２）式の両辺に、左側から太文字のＸ・Ｙ_ｒの擬似逆行列をかけると下記（３）式が得られる。


上記（３）式における左辺は平面波の音場の指向性を表し、中辺は任意の


におけるマイクロホン２４の


から導出できる音場の指向性を表す。右辺の太文字のＢは平面波のアンビソニックス信号と称され、１次の場合は一般にＷ、Ｘ、Ｙ、Ｚの4つのアルファベットで表わされる。すなわち、本実施の形態に係る音声伝送装置４０のエンコーダ５４は、複数位置における個別マイクロホン３６により収音したマイクロホン信号（音声信号）からＢフォーマット信号を作成する。

次に、上記のようにして生成されたｎ次アンビソニックス信号による音場の再生について説明する。本実施の形態では、音場の再生は音声伝送装置４０のデコーダ６０により行われる。デコーダ６０は、アンビソニックス信号をデコードしてスピーカ３０の駆動信号を生成する。以下、本実施の形態におけるアンビソニックス信号のデコード方法について詳細に説明する。

中心から等距離における同一球面上に、Ｌ個のスピーカ３０を設置し、これらのスピーカ３０から放射される音波は平面波であると仮定し、これらが作る音圧を球面調和展開すると、下記（４）式が得られる。


なお、上記（４）式において、（θ_ｌ，φ_ｌ）は、原点から見たスピーカ３０の方向、ａ_ｌは、各スピーカ３０の入力信号（駆動信号）である。

ここで、平面波が作る音圧と、Ｌ個のスピーカ３０が作る音圧が等しい（（１）式＝（４）式）とし、展開をｎ次で打ち切り行列表現し、球面調和関数の直交性を利用すると、下記（５）式が得られる。

従って、上記（５）式により、スピーカ３０を駆動する駆動信号が導出される。この際の導出は、会議室１２におけるスピーカ３０の個数、配置等を考慮して行われる。デコーダ６０は、上記（５）式により導出された駆動信号をスピーカ３０の各々に出力する。以上のようにして生成された駆動信号によってスピーカ３０が駆動され、音声が拡声される。会議の参加者は、このスピーカ３０で拡声された音声信号を受聴することにより、あたかもスクリーンに映し出された発話者の位置から音声が発せられたように感じることができ、発話者を違和感なく容易に識別することができる。

さらに、本実施の形態に係るテレビ会議システム１０によれば、発話者が移動しても視覚と音声の方向が一致した状態を維持することが可能である。しかも、本実施の形態に係るテレビ会議システム１０ではヘッドセット等の付加的な設備を用いる必要もない。なお、上式で定義される逆擬似行列（逆フィルタ）はスピーカ３０の配置を決めておくことにより予め算出しておくことが可能であり、こうすることで実時間で再生することが可能となる。

アンビソニックスマイクロホンであるマイクロホン２４から見た発話者の方向、距離と会議参加者が感じる発話者の方向・距離は、実際の方向、距離とは必ずしも一致しない場合があり、定位方向、定位距離にずれが生じる場合があるが、音像の位置に関しては聴覚情報よりも視覚情報が優位であるために、実際には視覚の方向、距離に音像が看取される。これにより、会議室１２Ｂの参加者は、スクリーン２８Ｂに映し出された映像と聴覚的に定位した音像により、あたかも会議室１２Ａと一体となって会議をしているように感じることができる。会議室１２Ｂから１２Ａに対しても同様に信号を伝送することで、会議室１２Ａの参加者も会議室１２Ｂと一体となって会議をしているように感じることができる。

［第２の実施の形態］
図５を参照して、本実施の形態に係るテレビ会議システム１００について説明する。本実施の形態は、上記実施の形態に係るテレビ会議システム１０においてスピーカ３０の配置を変えた、より具体的にはスピーカ３０の個数を削減した形態である。従って、テレビ会議システム１０と同様の構成には同じ符号を付して詳細な説明を省略する。

テレビ会議システム１００では、会議室１２Ａ内のスピーカ３０Ａの配置、および会議室１２Ｂ内のスピーカ３０Ｂの配置を図５に示すように行う。図５では各々８個のスピーカ３０を配置する形態を例示して説明するが、この個数は発話者の識別性等を勘案して適宜変更してよいし、また、会議室１２Ａと１２Ｂとで同じ個数である必要もない。

ここで、本発明に係るテレビ会議システムの特徴は、異なる複数の会議室が一体となってあたかも１つの部屋のように映像と音声が認識されることにある。基本的には相手の会議室の発話者の方向からのみ音声が聞こえることから、図１と図５の差分のスピーカ（以下、「余剰スピーカ」）の方向から音声が届くことは無い。このことを勘案すると、冗長なスピーカ数を削減することが可能である。

式（５）で示されたスピーカ３０の入力信号を求める際、アンビソニックスの原理上は受聴者周辺を取り囲むようにスピーカ３０を配置しなければならないことから、余剰スピーカの位置を含めて式（５）を計算する。その後システムを実際に構築する際には、発話者の方向に余剰スピーカは設置せずに、図５に示すスピーカ３０のみを配置する。これによりスピーカ３０の数を削減しつつ、発話者の方向に音像を定位させることが可能となる。換言すると、複数のスピーカ３０は、複数の発言者の音声のいずれもが到来しないと予測される位置には配置させない。

本実施の形態に係るテレビ会議システム１００の信号処理方法について説明する。式（５）までの処理は上記テレビ会議システム１０と同様である。各々のスピーカ３０の配置（θ_ｌ，φ_ｌ）に対して求められたスピーカ入力信号ａ_ｌに対し、受聴者ごとに受聴者から見たスピーカ３０の角度において予め取得しておいた両耳への頭部伝達関数Ｈ_Ｌ（θ_ｌ，φ_ｌ）、Ｈ_Ｒ（θ_ｌ，φ_ｌ）を畳み込み、左右それぞれ加算することにより、受聴者ごとのバイノーラル信号に変換される。用意してある頭部伝達関数の位置と受聴者の位置が異なる場合には、最も近い角度のものを用いる。

なお、上記各実施の形態では、マイクロホン２４を会議の参加者が環状に位置するテーブル３４とスクリーン２８との間に配置する形態を例示して説明したが、これに限られない。例えば、マイクロホン２４を環状に配置する参加者の中央（つまち、テーブル３４の中央）に配置してもよい。この場合、本来のアンビソニックス信号はビデオカメラ２６の位置にマイクロホン２４を配置する場合を想定しているので、マイクロホン２４で収音した音声信号をビデオカメラ２６の位置に座標変換してもよい。その際の座標変換は図２（ａ）に示すエンコーダ５４で符号化する前に行ってもよい。

１０、１００ テレビ会議システム
１２、１２Ａ、１２Ｂ 会議室
１６、１６Ａ、１６Ｂ 音声送信部
１８、１８Ａ、１８Ｂ 音声受信部
２０、２０Ａ、２０Ｂ 映像送信部
２２、２２Ａ、２２Ｂ 映像受信部
２４、２４Ａ、２４Ｂ マイクロホン
２６、２６Ａ、２６Ｂ ビデオカメラ
２８、２８Ａ、２８Ｂ スクリーン
３０、３０Ａ、３０Ｂ スピーカ
３２、３２Ａ、３２Ｂ 参加者
３４、３４Ａ、３４Ｂ テーブル
３６ 個別マイクロホン
４０、４０Ａ、４０Ｂ 音声伝送装置
４２、４２Ａ、４２Ｂ 映像伝送装置
５０ 増幅器
５２ Ａ／Ｄ変換器
５４ エンコーダ
５６ 送信器
５８ 受信器
６０ デコーダ
６２ Ｄ／Ａ変換器
６４ 増幅器
６６ 送信器
６８ 受信器
７０ ネットワーク
８０Ａ、８０Ｂ 制御部

Claims (8)

1. 発言者の音声を収音する複数のマイクロホンと、
   前記複数のマイクロホンで収音した音声信号に基づいてアンビソニックス信号を生成する生成部と、
   前記生成部から受け取った前記アンビソニックス信号から音声信号を再生する再生部と、
   前記再生部から受け取った音声信号を拡声する複数のスピーカと、
   前記発言者を含む映像を撮像した撮像信号を出力する撮像部と、
   前記撮像部から受け取った撮像信号を表示する表示部と、を含み、
   前記表示部の映像および前記複数のスピーカからの音声を視聴しつつ会議に参加する参加者が知覚する前記複数のスピーカからの音声の方向が、前記映像に表示された前記発言者の方向と一致する
   テレビ会議システム。
2. 前記複数のマイクロホンと前記撮像部とを隣接させて配置する
   請求項１に記載のテレビ会議システム。
3. 前記複数のスピーカは、複数の前記発言者の周囲の少なくとも一部を囲むように配置された
   請求項１または請求項２に記載のテレビ会議システム。
4. 前記複数のスピーカは、複数の前記発言者の音声のいずれもが到来しないと予測される位置には配置しない
   請求項３に記載のテレビ会議システム。
5. 前記生成部は、前記複数のマイクロホンからの前記音声信号を増幅する送信側増幅回路、アナログ信号である前記送信側増幅回路の出力をデジタル信号に変換するアナログデジタル変換回路、および前記アナログデジタル変換回路の出力を前記アンビソニックス信号に符号化する符号化回路を備え、
   前記再生部は、前記アンビソニックス信号を復号化する復号化回路、デジタル信号である前記復号化回路の出力をアナログ信号に変換するデジタルアナログ変換回路、前記デジタルアナログ変換回路の出力を増幅して前記複数のスピーカに送る受信側増幅回路を備える
   請求項１から請求項４のいずれか１項に記載のテレビ会議システム。
6. 前記生成部と前記再生部との間、および前記撮像部と前記表示部との間の各々を伝送回線によって接続するネットワークをさらに備え、
   前記符号化回路は前記アンビソニックス信号を前記伝送回線に出力する送信回路を備え、
   前記復号化回路は伝送回線から前記アンビソニックス信号を受信する受信回路を備える 請求項５に記載のテレビ会議システム。
7. 前記復号化回路は、前記複数のスピーカの配列に応じて前記アンビソニックス信号に復号化する
   請求項５または請求項６に記載のテレビ会議システム。
8. 前記撮像部は、環状に位置する複数の前記参加者の各々と前記表示部との間に配置され、
   前記複数のマイクロホンは、環状に位置する複数の前記発言者の中央に配置され、
   前記生成部は、前記複数のマイクロホンの位置を前記撮像部の位置に座標変換した後、前記アンビソニックス信号を生成する
   請求項１、および請求項３から請求項７のいずれか１項に記載のテレビ会議システム。