JP2006279588A - 多地点通信会議用端末 - Google Patents

Abstract

【課題】通信会議システムにおいて、通信先の相手の画像表示位置と音像定位を一致させ、話者の認知を効果的に行う。
【解決手段】会議参加者の各々に一つずつアドレスを割り当てて、各テーブルの着席位置と会議参加者のアドレスを一対一に対応付け、そのアドレスに応じて話者の画像表示と音像定位を行う。複数の異なる地点における会議参加者が仮想的な１つの会議室に集まった状態を想定して、奥行方向をもった画像表示と音像定位を行う。通信網に接続された会議室の接続数に応じて音声の残響付加を行う。
【選択図】図１２

Description

本発明は、多地点通信会議システムにおいて、複数の地点間を結ぶ端末に関するものであり、特に画像表示位置と音声信号の定位を制御する手段を有する端末に関するものである。

従来から多地点通信会議システムの画像表示方法にはさまざまなものがある。例えば、特許文献１においては、会議サーバを導入して、そのサーバで会議の参加者、会議机、資料等のオブジェクトを配置して会議の状態を表現した映像を生成し、各参加者用端末からの要求に応じて、前記映像に対して所定の加工を加えた映像をそれぞれ生成して参加者用端末に送信して参加者用画面に表示する会議映像表示方法が開示されている。

また、特許文献２には、画面上の表示位置と、音声出力の左右音量比を相関させることにより、ユーザにとって音と画面表示の関係を分かりやすくするシステムが示されている。
特開２０００−１５２２０４号公報 特開平８−１２５７６０号公報

特許文献１に示されるように、会議サーバを用いて複数の参加者の画像を合成して会議状態の映像を作れば、一つの画面で全参加者の画像を見ることができ、視点をそらされることなく、複数の地点の参加者を把握することができる。しかし、会議参加者数が多くなると、参加者一人一人がどの地点に属するか分かり難くなる。また、音響的な配慮がなされていないため、話者を認識することが困難になる。一方、特許文献２に示されるように、画面上の発言者の位置に対応して、音声出力の左右音量比を相関させる技術を用いた場合、参加者が数人であれば左右のスピーカ出力レベルの設定で話者の認識ができるが、平面的な相関であるため、さらに人数が増え発言者の画像が重なるような場合は、やはりその違いが分かり難くなる。

本発明の目的は、多地点通信会議において、多数の会議参加者があっても、思考を中断するような視点の大きな移動を伴わずに発言者の特定を容易にでき、さらに発言者の属する地点（会議室）を特定することで、地点（会議室）ごとの意見を把握しやすく、効率的な会議進行ができる多地点通信会議システムを提供することである。

本発明は通信会議に使用される端末であって、通信網を介して他の端末と通信する通信手段と、複数のアドレスを保持する記憶手段と、複数の画像信号入力手段と、複数の音声信号入力手段と、前記複数の画像信号入力手段から得られる画像信号の一つ及び前記複数の音声信号入力手段から得られる音声信号の一つに、前記複数のアドレスを保持する記憶手段から得られるアドレスの一つを共通に付加して出力する出力手段と、前記他の端末から出力される前記アドレスを付加された画像信号を、画像表示装置上の該アドレスに対応した位置に表示する表示手段と、前記他の端末から出力される前記アドレスを付加された音声信号を、該アドレスに対応した位置に定位させる定位手段とを有する。

また前記端末は、前記通信網に接続された他の端末から出力された音声信号に残響を付加する残響付加手段を有してもよい。さらに前記端末は、前記通信網に接続された他の端末から出力された画像信号の表示位置及び音声信号の定位位置を端末単位で設定する手段や、特定の端末から出力される画像信号及び音声信号を選択して画像の表示位置及び音声の定位を制御する手段を有してもよい。

本発明によれば、複数の地点の会議室が通信網を介して接続されて多地点通信会議を行う場合、会議参加者の画像及び音声が一つの仮想的な会議室の中に奥行方向をもって定位されるので、複数の話者が交互あるいは同時に発言したような場合でも、注意がそらされることなく、かつ話者の識別が容易になり、会議の進行を円滑に行うことができる。さらに、各地点ごとにまとめて会議参加者の画像及び音声を定位するため、会議参加者一人一人がどの地点の会議室から参加しているか把握しやすくなり、会議室単位での意見の集約あるいは特徴の抽出が容易になる。

図１は、本発明に係る多地点通信会議用端末のブロック構成図である。図２は本発明に係る端末を会議室に設置したときの結線図である。図２では会議参加者数を４名とした場合を示しているが、参加者数は４名とは限らない。図３に前記端末を設置した会議室が通信網を介して接続された、通信会議システムの構成を示す。図３では接続された会議室の数は４であるが、常に４である必要はない。通信網３０１は通常の通信会議に使用できるものであればよい。

以下、実施例として、ＩＴＵ勧告Ｈ．３２３等のインターネットを使用した通信プロトコルに従う通信会議用端末について、図面を参照しながら説明する。

図１のＣＰＵ１００は端末Ｔ全体の動作を制御する装置であり、ＲＯＭ１０１に記憶されたプログラムに従って、本発明に係る機能を実現する。会議参加者一人一人にカメラとマイクが割当てられており、端末Ｔは前記カメラ及びマイクの信号を入力する画像入力部（１１０〜１n０）及び音声入力部（１１１〜１n１）を少なくとも会議参加者数分有する。また端末Ｔは、会議室に設置された画像表示部Ｄに会議参加者の画像を表示するための画像出力部２００を有する。さらに端末Ｔは、会議室に設置された二つのスピーカＳ１、Ｓ２に会議参加者の音声を出力する音声出力部２０１、２０２を有する。さらに端末Ｔは、通信網に信号を入出力するためのデータインターフェース部１０３を有する。

端末Ｔは自身のＩＰアドレスを通信網を介して取得する。あるいは該アドレスは図示しないアドレス設定装置により固定の値を割り振るようにしてもよい。このとき、端末Ｔに会議出席者数nを加えた、n＋１個のアドレスを確保する。そして、端末Ｔ自身のアドレスを元に、さらに会議参加者一人一人に対応したアドレスをＣＰＵにて生成する。端末Ｔのアドレス及び参加者一人一人に割当てられたアドレスは上位ビットに対応するネットワークアドレスを共通のものとし、下位ビットに対応するホストアドレスを端末Ｔから順に１、２、…、n＋１とする。すなわち、会議参加者に便宜的に２からｎ＋１までの番号を割当て、それに対応したアドレスのテーブルが作成されＲＡＭ１０２に保存される。図４は、ＩＰｖ４に対応した３２ビットアドレスを使用し、下位８ビットをホストアドレスに割当てたアドレステーブルの例である。ただし、図４のアドレスは架空の値なので、上位の１６ビットは＊＊で示した。

図５は、会議室に４人の会議参加者が着席している様子を平面図で示すものである。４人の参加者Ｐａ１〜Ｐａ４が会議テーブルＴａに向かって座っている。会議テーブルＴａ上に各参加者に対応したカメラＣ１〜Ｃ４及びマイクＭ１〜Ｍ４が設置されている。会議テーブルＴａの一端に画像表示部Ｄが設置され、画像表示部Ｄの両側にスピーカＳ１，Ｓ２が設置されている。図２は図５で示した会議室ＡのカメラＣ１〜Ｃ４、マイクＭ１〜Ｍ４、画像表示部Ｄ及びスピーカＳ１，Ｓ２と端末Ｔとの間の結線を模式的に示している。例えば、カメラＣ１は会議参加者Ｐａ１の画像を撮像し、その信号を端末Ｔの画像入力部１１０に出力する。また、マイクＭ１は会議参加者Ｐａ１の音声を端末Ｔの音声入力部１１１に出力する。一方端末の画像出力部２００からは、画像表示部Ｄへ会議画像が出力される。また、端末の音声出力部２０１からはスピーカＳ１へ、音声出力部２０２からはスピーカ２へ、それぞれ会議参加者の音声信号が出力される。

画像入力部１１０に入力された画像は画像コーデック１０４で会議参加者Ｐａ１に対応したアドレス、＊＊．＊＊．１８０．２を付加されて、データインターフェース部１０３から通信網３０１へ出力される。音声入力部１１１に入力された音声は音声コーデック１０５で会議参加者Ｐａ１に対応したアドレス、＊＊．＊＊．１８０．２を付加されて、データインターフェース部１０３から通信網３０１へ出力される。このときの画像データ及び音声データのフォーマットは例えば、ＩＴＵ勧告Ｈ．３２３に含まれるビデオコーデック規格Ｈ．２６１あるいはオーディオコーデック規格Ｇ．７１１に規定されたものである。

通信網を介して接続された他の端末からの画像信号及び音声信号はデータインターフェース部１０３に入力される。ＲＡＭ１０２の中に接続された端末のアドレスのテーブルと接続された端末の数を示すカウンタを保持する。他の端末との間で接続が確立された順に、該端末のアドレスをＲＡＭ１０２の中の端末アドレステーブルに保存するとともに、端末数カウンタをカウントアップする。図６は、接続された端末アドレステーブルの例である。

ＲＯＭ１０１の中には、ＣＰＵ１００のプログラムの他に、接続された端末の数に対応した室内画像データを保持している。会議開始時に会議参加地点の端末と呼の設定を行い、接続が確立された端末数を示す端末数カウンタの値に応じて、室内画像データが選択される。この室内画像データは会議室に設置された会議テーブルを模したもので、接続数が増えるにしたがって、奥に延びていく形状になっている。端末数カウンタの値に応じて選択された室内画像データに、データインターフェース部１０３に入力された他の端末の画像信号を重ね合わせて、画像出力部２００より出力する。ただし、室内画像データを使用せずに、他の端末から出力された画像信号のみを所定の配置にして画像出力部より出力してもよい。

データインターフェース部１０３に入力された、他の端末からの音声信号は、図７に示す処理を行ってからスピーカＳ１，Ｓ２に供給される。すなわち、他の端末から出力された音声信号は音像定位部４０１及び残響音付加部４０２に供給される。音像定位部４０１に入力された音声信号はそのアドレスに基づいて音像を定位する位置が決定され、該位置に対応した遅延とレベル制御を行い、２チャンネルの音声信号となる。一方、前記他の端末からの音声信号は同時に、残響音付加部４０２に供給され、２チャンネルの残響音信号となる。この残響音は前記端末数カウンタで示される、接続した端末の数に対応する仮想的な会議室の残響特性を示すもので、IIRフィルタあるいはFIRフィルタまたはその組み合わせからなるリバーブ部４１０により所定の残響特性を持った信号である。前記仮想的な会議室の残響特性はＲＯＭ１０１にリバーブ部４１０のＩＩＲフィルタあるいはＦＩＲフィルタの係数として記憶されている。この残響音信号は中央部に定位しないよう、２つのチャンネル間で互いに異なる特性を持ち、音像定位部４０２で生成された２チャンネルの音声信号に加算部４０３、４０４にてそれぞれ加算される。音像定位部４０２で生成された２チャンネルの音声信号のみでも本発明を構成することは可能であるが、残響音信号を付加することで、より効果的に話者を識別することができる。

以下、実施例として、２つの異なる地点に存在する会議室、会議室Ａと会議室Ｂとの間での通信会議システムの場合を示す。会議室Ａ、Ｂともに会議の参加者数を４人とする。２地点間の会議なので、前記端末数カウンタの値は１である。これに対応する室内画像データを図８に示す。図８の室内画像データに通信網を介して相手先から出力されてきた参加者の画像を重ね合わせて画像表示部に表示した結果が図９である。図９は会議室Ａの参加者から見た画像で、会議室Ａに設置された画像表示部Ｄに会議室Ｂの参加者が表示されている。画像表示部Ｄに表示された画像の背景や会議テーブルは、会議室Ａに設置された端末のＲＯＭ１０１に記憶されている室内画像データから選択されたもので、通信網に流れる画像信号は会議参加者の画像のみである。会議参加者の画像の表示位置と表示サイズは該参加者の画像に付加されたアドレスにより決定される。

会議室Ａの参加者から見た画像表示部Ｄの画像は図９のように見えるが、このときの画像はあたかも現実の会議テーブルＴａの先に仮想的に会議室Ｂのテーブルがつながっているような状態になる。すなわち、会議室Ａの先に仮想的な会議室がつながったような状態を模擬している。この仮想的な会議室において、会議室Ｂの会議参加者Ｐｂ１〜Ｐｂ４は図１０に示したような配置で着席しているように見える。すなわち、画像表示部Ｄに近いほうにＰｂ１、Ｐｂ２の二人が着席し、その奥にそれぞれＰｂ３、Ｐｂ４の二人が着席している。ここで、会議参加者Ｐｂ１〜Ｐｂ４の画像に付加されたアドレスの上位２４ビットが「会議室Ｂ」の画像であることを示し、該アドレスの下位８ビットが、会議参加者Ｐｂ１〜Ｐｂ４の番号を示している。すなわち、該アドレスの下位８ビットの値が「２」であれば、その画像は会議参加者Ｐｂ１のものであると判定され、画像表示部Ｄにて右手前に表示される。同様に該アドレスの下位８ビットの値が「３」であれば、その画像は会議参加者Ｐｂ２のものであると判定され、画像表示部Ｄにて左手前に表示される。画像を表示する具体的な座標値は、例えば会議室Ａ側に仮想的にカメラを設置し、会議室Ａに連続する仮想会議室３１０の方向を見たときの、会議参加者Ｐｂ１〜Ｐｂ４の位置を画像表示部Ｄに投影した値としてもよいし、あらかじめ参加者の着席位置に対応する座標値をＲＯＭ１０１の中にもっていてもよい。

この仮想会議室３１０における着席位置に対応して会議参加者Ｐｂ１〜Ｐｂ４の音声に遅延とレベルの制御を行い、さらに残響を付加してスピーカＳ１、Ｓ２から出力する。すなわち、図１０に示すように、会議参加者Ｐｂ１は仮想会議室３１０内において、スピーカＳ１、Ｓ２からそれぞれＬ１１、Ｌ１２だけ離れた位置に着席している。この距離に対応した遅延時間が図７のｄ１１、ｄ１２に設定され、またこの距離に対応した減衰がa１１、a１２に設定される。会議参加者Ｐｂ２〜Ｐｂ４もそれぞれの着席位置に対応した遅延時間と減衰量が設定される。４人の会議参加者Ｐｂ１〜Ｐｂ４は同じ仮想会議室３１０にいるので、残響特性は共通のものとする。ただし、画像表示部Ｄの中心からの直線距離に応じて、残響音の混合比を変える。すなわち、画像表示部Ｄから遠ざかるほど、残響音の割合を大きくする。残響音の混合比はリバーブ部４１０へ入力する信号の係数a１３で制御する。また、残響音は必ず直接音より遅れて聞こえてくるので、リバーブ部４１０に入力される信号は、音像定位部４０１における遅延時間ｄ１１、ｄ１２のうち少なくとも小さいほうの値よりも大きな遅延時間ｄ１３だけ遅らせる。このような音声の処理を行うことにより、Ｐｂ１の後方にＰｂ３が着席していて、Ｐｂ２の後方にＰｂ４が着席していることがより明瞭になり、話者の判別が容易になる。データインターフェース部１０３から入力される音声信号と会議参加者Ｐｂ１〜Ｐｂ４との対応付けは画像信号と同様に、音声信号に付加されたアドレスの下位８ビットを見て判断する。

図５に会議室Ａの参加者、カメラ、マイク、画像表示部及びスピーカの配置を示す。図５は会議室Ａを上から見た状態で、実際の会議テーブルＴａを囲んで、会議参加者Ｐａ１〜Ｐａ４の４人が着席している。各参加者の前にはそれぞれカメラＣ１〜Ｃ４とマイクＭ１〜Ｍ４が設置されている。カメラは参加者が画像表示部Ｄの方向を見たときに、参加者の正面の画像が写るような位置に設置されていることが望ましいが、参加者がテーブルに向かったときに正面の画像が写る向きでもよい。画像表示部Ｄの左右にスピーカＳ１、Ｓ２が配置されている。

次に第２の実施例として、第１の実施例に示した会議状態に、さらに会議室Ａ、Ｂと異なる地点にある会議室Ｃが接続された場合を示す。会議室Ｃの会議参加者数は２人の場合を例とする。接続数が１増えたため、室内画像データは図１１に示すような新たな室内画像を選択する。そして、新たに選択された２地点接続時の室内画像に各会議室の会議参加者の画像を重ね合わせる。その結果、会議室Ａの画像表示部Ｄには図１２のような会議状態の画像が表示される。図１１の室内画像データは２つの異なる地点の会議テーブルが奥行方向につながった状態を表している。互いに異なる地点のテーブルの色は同じでもよいが、図１１のように色を変えることにより、図１２のように２つの地点の会議参加者の画像が一つにまとめられたとき、どちらの会議室の参加者か判別しやすくなる。

図１２の画像が画像表示部Ｄに表示された状態は、２つの異なる地点にある会議室Ｂ及び会議室Ｃの会議参加者Ｐｂ１〜Ｐｂ４及びＰｃ１〜Ｐｃ２が、図１３に示す仮想会議室３１１に集まっている様子を示している。このとき、会議室Ｃの会議参加者Ｐｃ１及びＰｃ２は、会議室Ｂの会議参加者Ｐｂ１〜Ｐｂ４の後方に着席しているように表示される。すなわち、例えば会議参加者Ｐｃ２の画像は会議室Ｂの会議参加者Ｐｂ４の後方に表示され、会議参加者Ｐｃ２の音声は距離Ｌ６１、Ｌ６２に相当する遅延と減衰を受けてスピーカＳ１、Ｓ２から出力される。２つの地点が接続されたことにより、仮想会議室３１１はその残響特性も変化する。この特性は会議参加者Ｐｂ１〜Ｐｂ４及びＰｃ１〜Ｐｃ２の全員に共通である。ただし、残響音の直接音に対する割合は、着席位置が画像表示部Ｄから遠ざかるほど大きくなる。

図１３に示すように、通信網を介して２つの異なる地点にある会議室Ｂと会議室Ｃの会議参加者Ｐｂ１〜Ｐｂ４及びＰｃ１〜Ｐｃ２が１つの仮想会議室３１１に着席しているのと同等な位置に画像を表示し、かつ音像を定位することで、会議室Ａの会議参加者Ｐａ１〜Ｐａ４は画像表示部Ｄの中に奥行方向に延びた１つのテーブルに会議参加者Ｐｂ１〜Ｐｂ４及びＰｃ１〜Ｐｃ２が着席しているように捉えることができる。

また、会議室の表示順を変更することで、会議室Ｃの会議参加者Ｐｃ１〜Ｐｃ２を画像表示部Ｄに対して最前列に配置することも可能である。このとき、会議参加者Ｐｂ１〜Ｐｂ４及びＰｃ１〜Ｐｃ２と画像表示部Ｄとの間の距離はすべて変更され、それに伴いスピーカＳ１及びＳ２へ出力する音声信号の遅延時間と出力レベル及び残響付加レベルも変更される。図６に示すように、端末のアドレスは接続が確立された順にテーブルに入れられている。そして、端末のＲＡＭ１０２には初期設定として、会議室表示順テーブルが図１４のように端末番号順に記憶されている。すなわち、初期状態では接続が確立された順に手前から画像を表示する。ここで、図１４の会議室表示順テーブルの順番を入れ替えると、その順に手前から画像を表示するようになる。

さらに、会議室と着席位置を指定することで、特定の会議参加者の画像をクローズアップして画像表示部Ｄに表示させることもできる。この場合は指定された会議参加者と画像表示部Ｄとの距離はないものと想定し、遅延時間は０、レベルの減衰もないものとする。また、残響音は付加しない。これにより、明瞭な音声が画像表示部Ｄの中央部に定位することになる。

会議の進行状況によっては、会議室Ｂのみの画像及び音声、あるいは会議室Ｃのみの画像及び音声を画像表示装置Ｄ及びスピーカＳ１，Ｓ２から出力することもできる。この場合の音像定位及び残響特性は１つの地点のみが接続されたときのものになる。

以上説明したように、本発明の多地点通信会議用端末Ｔによれば、複数の地点の会議室が通信網を介して接続され、異なる会議室から複数の会議参加者があっても、仮想的に一つの会議室に集まった状態で、奥行方向に画像表示および音像定位がなされるので、注意がそらされることなく、かつ話者の識別が容易になり、会議の進行を円滑に行うことができる。

多地点通信会議用端末のブロック構成図である。 会議室内のブロック結線図である。 多地点通信会議システム全体の接続図である。 会議参加者アドレステーブルである。 会議室Ａの配置図である。 端末アドレステーブルである。 音声信号処理ブロック図である。 １地点接続時の室内画像である。 １地点接続時の会議状態画像である。 １地点接続時の仮想会議室の平面概念図である。 ２地点接続時の室内画像である。 ２地点接続時の会議状態画像である。 ２地点接続時の仮想会議室の平面概念図である。 会議室表示順テーブルである。

符号の説明

Ｃ１ … 着席位置１の話者用カメラ、 Ｃ２ … 着席位置１の話者用カメラ、
Ｃｎ … 着席位置nの話者用カメラ、 Ｍ１ … 着席位置１の話者用マイク、
Ｍ２ … 着席位置２の話者用マイク、 Ｍｎ … 着席位置nの話者用マイク、
Ｄ … 画像表示部、 Ｓ１ … 左チャンネル用スピーカ、
Ｓ２ … 右チャンネル用スピーカ、 Ｔ … 端末、
１００ … ＣＰＵ、 １０１ … ＲＯＭ、 １０２ … ＲＡＭ、
３００Ａ … 会議室Ａ、 ３００Ｂ … 会議室Ｂ、 ３００Ｃ … 会議室Ｃ、
３００Ｄ … 会議室Ｄ、 ３０１ … 通信網
３１０ … １地点接続時の仮想会議室、 ３１１ … ２地点接続時の仮想会議室、
４０１ … 音像定位処理部、 ４０２ … 残響付加部、
４０３ … チャンネル１音声信号加算部、４０４ … チャンネル２音声信号加算部、
４１０ … リバーブ部、

Claims (6)

1. 通信会議に使用される端末であって、通信網を介して他の端末と通信する通信手段と、
   複数のアドレスを保持する記憶手段と、
   複数の画像信号入力手段と、
   複数の音声信号入力手段と、
   前記複数の画像信号入力手段から得られる画像信号の一つ及び前記複数の音声信号入力手段から得られる音声信号の一つに、前記複数のアドレスを保持する記憶手段から得られるアドレスの一つを共通に付加して出力する出力手段と、
   前記他の端末から出力される前記アドレスを付加された画像信号を、画像表示装置上の該アドレスに対応した位置に表示する表示手段と、
   前記他の端末から出力される前記アドレスを付加された音声信号を、該アドレスに対応した位置に定位させる定位手段と
   を有する通信会議用端末。
2. 前記通信網に接続された他の端末から出力された音声信号に残響を付加する残響付加手段を有する請求項１記載の通信会議用端末。
3. 前記通信網に接続された他の複数の端末から出力された画像信号表示位置及び音声信号の定位位置を端末単位で設定する設定手段を有する請求項１または請求項２に記載の通信会議用端末。
4. 特定の端末から出力される画像信号及び音声信号を選択して表示及び定位する選択手段を有する請求項１から請求項３のいずれかに記載の通信会議用端末。
5. 前記接続された端末の数に応じた会議室画像データを保持し、該会議室画像データと前記他の端末から出力された画像信号を重ね合わせて表示する重畳手段を有する請求項１から請求項４のいずれかに記載の通信会議用端末。
6. 請求項1から請求項5のいずれかに記載の通信会議用端末と、画像表示装置と、音声出力装置と、撮像装置と、音声入力装置と、からなる通信会議システム。

Images