JP2004194009A - 利用者映像提示用サーバ装置及び利用者用端末装置並びに両者を用いた利用者映像提示方法 - Google Patents
利用者映像提示用サーバ装置及び利用者用端末装置並びに両者を用いた利用者映像提示方法 Download PDFInfo
- Publication number
- JP2004194009A JP2004194009A JP2002359934A JP2002359934A JP2004194009A JP 2004194009 A JP2004194009 A JP 2004194009A JP 2002359934 A JP2002359934 A JP 2002359934A JP 2002359934 A JP2002359934 A JP 2002359934A JP 2004194009 A JP2004194009 A JP 2004194009A
- Authority
- JP
- Japan
- Prior art keywords
- user
- image
- unit
- signal
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Telephonic Communication Services (AREA)
Abstract
【課題】多地点テレビ会議システムにおいて、各地点に1台のカメラ、1台のディスプレイという簡易な端末装置で、ネットワークに大きな負担をかけずに、会議における合意形成の過程を円滑に推進する。
【解決手段】複数の端末をネットワークで接続し、端末利用者の画像や音声を送受信しあうことにより、多地点に分散した複数の利用者によるコミュニケーションを実現する多地点テレビ会議システムにおいて、各端末で自端末利用者映像を含む全ての端末利用者映像を表示する段階と、全端末の利用者入力の有無を判定する段階と、前記判定する段階で判定された利用者入力の有無に基づき、全ての端末で同期して各端末の利用者映像を順次強調表示していく段階とを具備する利用者映像提示方法である。
【選択図】 図3
【解決手段】複数の端末をネットワークで接続し、端末利用者の画像や音声を送受信しあうことにより、多地点に分散した複数の利用者によるコミュニケーションを実現する多地点テレビ会議システムにおいて、各端末で自端末利用者映像を含む全ての端末利用者映像を表示する段階と、全端末の利用者入力の有無を判定する段階と、前記判定する段階で判定された利用者入力の有無に基づき、全ての端末で同期して各端末の利用者映像を順次強調表示していく段階とを具備する利用者映像提示方法である。
【選択図】 図3
Description
【0001】
【発明の属する技術分野】
本発明は、複数の端末をネットワークで接続し、端末利用者の画像や音声を送受信しあうことにより、多地点に分散した複数の利用者によるコミュニケーションを実現する多地点テレビ会議システムの利用者映像提示方法に関する。
【0002】
【従来の技術】
従来、複数の端末をネットワークで接続し、端末利用者の画像や音声を送受信しあうことにより、多地点に分散した複数の利用者によるコミュニケーションを実現する多地点テレビ会議システムがある。
【0003】
典型的な多地点テレビ会議システムでは、1つの地点に1台のカメラと1台のディスプレイを配置し、各地点の利用者映像を画面にタイル状に並べて表示する。発言者の識別を容易にするために、画像枠の色を変えるなどして、タイル状に並べて表示する。
【0004】
接続相手ごとに撮影装置と表示装置を用意することで視線の一致を表現する多地点テレビ会議システムがある。トロント大学のHydraはカメラとディスプレイを一体にした小型の装置をある程度の間隔を開けて机上に配置する。ディスプレイが小型で、かつカメラと一体になっているため、利用者映像とカメラの位置関係を厳密に調整する必要がなく、装置を適度な間隔をあけて配置するだけで、自然に視線の一致が実現されるようになっている。
【0005】
Hydraの詳細については、文献1(Sellen A. Buxton W.A Arnott J. "Using spatial cues to improve videoconferencing"、Proceedings of CHI '92 pp.651-652 1992)などに記述されている。
【0006】
より高い臨場感を提伏する多地点テレビ会議システムとして、慶應義塾大学のMAJICがある。MAJICは半透過型のスクリーンを曲面状に設置し、遠隔2地点の利用者の等身大画像を投影する。スクリーンに投影される利用者映像の後方にそれぞれの対地用のカメラを設置することにより、3地点の利用者間での視線一致を実現している。異なった地点から送られてくる背景を実現し臨場感を高める工夫をしている。
【0007】
MAJICの詳細については、文献2(岡田謙一、松下温、"臨場感のある多地点テレビ会議システム:MAJIC"、信号(情報)処理学会論文誌、Vol.36 No.3 pp.775-783 1995)などに記述されている。
【0008】
視線検知器を使用して利用者の視線方向を伝達するシステムがある。クィーンズ大学のGAZE-2は、ハーフミラーを用いてディスプレイと複数台のカメラを光学的に共役な位置に設置する。視線検知器より得られた信号(情報)を用いて、利用者映像をとらえるカメラを選択するとともに、利用者映像を貼り付けた仮想の板をディスプレイ上で回転させることで利用者の視線方向を伝達する。
【0009】
GAZE-2の詳細については、文献3(VertegaaI R.Weevers I.Shon.C.、"GAZE-2:An Attentive Video Conferencing System"、Extended Abstracts of CH1 2002
pp.736-737 2002)などに記述されている。
【0010】
【発明が解決しようとする課題】
視線は会議を円滑に進めるための重要な要素である。特に、多人数の会議において、発言に対する同意を求める過程で重要な役割を担っている。例えば、我々は会議の中で、相手を見ることによりその人に同意を求めるということを自然に行っている。見られたほうは見られることにより意見を返すタイミングを容易に得ることができる。また、うなずきのようなノンバーバルな信号(情報)が相手に伝わっているかどうかも、相手が自分を見ているかどうかが分かれば容易に判断することができる。
【0011】
このように視線信号(情報)の中でも、特に、自分が相手を見ているときに、相手が見られていることを把握できれば、会議における合意形成の過程を円滑に進めることができると期待される。
【0012】
1地点に1台のカメラと1台のディスプレイを配置する典型的な多地点テレビ会システムでは、利用者の顔映像がタイル状に表示されるだけで、前述のような会議において重要な要素である利用者の視線信号(情報)が伝わらない。
【0013】
そのため、発言者は発言に対する合意を他の利用者に促すことが容易に行えない。他の利用者は発言のタイミングをうまく得ることができない。さらには、うなずきなどのノンバーバルな信号(情報)が相手利用者に伝わっているのか分からず、結局ノンバーパルな信号(情報)伝達を利用することができないといった問題がある。
【0014】
前記Hydra、MAJIC、GAZE-2などの多地点会義システムでは、視線信号(情報)を相手に伝えることができるので、自分が相手を見ていること、相手が自分を見ていることが分かり、会議における合意形成の過程を円滑に進めることができる。
【0015】
しかしながら、これらのシステムでは、視線信号(情報)の伝達を実現するために、利用者から見た相手利用者の映像とカメラの位置が光学的に一致している必要があるなど、カメラとディスプレイの設置位置や、装置に対する利用者の位置に制約がある。そのため、システムの設置が容易でなかったり、利用者の位置が変わると視線信号(情報)がうまく伝わらなくなるといった問題がある。
【0016】
また、対地数が増えるごとにカメラなどの装置が増え、端末装置が大掛かりになるという問題がある。また、設置位置の物理的な制約により、対地数にも自ずと限界がある。
【0017】
前記GAZ-2は複数のカメラを用いながらも視線検知器を利用することにより、他の地点に伝達する画像を1つとしてネットワークトラフィックの増大を回避しているが、前記HydraやMAJICでは、各地点ごとに別々の映像を伝達する必要があり、ネットワークトラフィックが増大するという問題がある。
【0018】
本発明の目的は、複数の端末をネットワークで接続し、端末利用者の画像や音声を送受信しあうことにより、多地点に分数した複数の利用者によるコミュニケーションを実現する多地点テレビ会議システムにおいて、各地点に1台のカメラ、1台のディスプレイという簡易な端末装置で、ネットワーに大きな負担をかけずに、会議における合意形成の過程を円滑に推進することが可能な技術を提供することにある。
【0019】
本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述及び添付図面によって明らかにする。
【0020】
【課題を解決するための手段】
本願において開示される発明の概要を簡単に説明すれば、以下のとおりである。
【0021】
第1の発明は、複数の端末をネットワークで接続し、端末利用者の映像や音声を送受信しあうことにより、多地点に分散した複数の利用者によるコミュニケーションを実現する多地点テレビ会議システムに用いる利用者映像提示用サーバ装置であって、前記ネットワークに接続するネットワーク接続部と、前記ネットワーク接続部から入力される信号を復号する復号部と、該復号部で復号された復号信号中の画像信号から映像を合成する画像合成部と、前記復号信号中の音声信号から音声を合成する音声合成部と、前記復号信号から全端末の利用者入力の有無を判定する入力判定部と、前記入力判定部で判定された利用者入力の有無に基づき、全ての端末で同期して各端末の利用者画像を順次強調表示していく強調表示指示信号発生部を具備することを特徴とする。
【0022】
第2の発明は、複数の端末をネットワークで接続し、端末利用者の画像や音声を送受信しあうことにより、多地点に分散した複数の利用者によるコミュニケーションを実現する多地点テレビ会議システムに用いる利用者用端末装置であって、前記ネットワークに接続するネットワーク接続部と、カメラからの画像信号(画像情報)を入力する画像入力部と、マイクからの音声信号(音声情報)を入力する音声入力部と、利用者が情報をキーボード、マウス等により入力する利用者入力部と、前記画像入力部、音声入力部、及び利用者入力部のそれぞれの出力である画像信号、音声信号、及び利用者信号を符号化してネットワーク接続部に入力する符号化部と、利用者入力の有無に基づき、全ての端末で同期して各端末の利用者画像を順次強調表示していくための強調表示指示信号発生部と、前記復号部及び強調表示指示信号発生部のそれぞれの出力信号から利用者映像を再生する利用者映像再生部とを具備することを特徴とする。
【0023】
第3の発明は、複数の端末をネットワークで接続し、端末利用者の画像や音声を送受信しあうことにより、多地点に分散した複数の利用者によるコミュニケーションを実現する多地点テレビ会議システムに用いる利用者用端末装置であって、前記ネットワークに接続するネットワーク接続部と、カメラからの画像信号(画像情報)を入力する画像入力部と、マイクからの音声信号(音声情報)を入力する音声入力部と、利用者が情報をキーボード、マウス等により入力する利用者入力部と、前記画像入力部、音声入力部、及び利用者入力部のそれぞれの出力である画像信号、音声信号、及び利用者信号(利用者情報)を符号化してネットワーク接続部に入力する符号化部と、前記ネットワーク接続部から入力される信号を復号する復号部と、前記復号部で復号された信号中の映像信号から映像を合成する画像合成部と、前記復号信号から全端末の利用者入力の有無を判定する入力判定部と、前記復号信号から会議出席者の発言の有無を判定する発言判定部と、前記入力判定部で判定された利用者入力の有無、もしくは発言判定部で判定された利用者(会議出席者)の発言の有無に基づき、全ての端末で同期して各端末の利用者画像を順次強調表示していく強調表示指示信号発生部と、前記画像合成部及び強調表示指示信号発生部のそれぞれの出力信号(情報)から利用者映像を再生する利用者映像再生部とを具備することを特徴とする。
【0024】
第4の発明は、複数の端末をネットワークで接続し、端末利用者の画像や音声を送受信しあうことにより、多地点に分散した複数の利用者によるコミュニケーションを実現する多地点テレビ会議システムにおいて、各端末で自端末利用者映像を含む全ての端末利用者映像を表示する段階と、全端末の利用者入力の有無を判定する段階と、前記判定する段階で判定された利用者入力の有無に基づき、全ての端末で同期して各端末の利用者映像を順次強調表示していく段階とを具備する利用者映像提示方法である。
【0025】
第5の発明は、前記第4の発明の利用者映像提示方法において、全端末のキーボード、マウス等による入力を検知する段階を具備し、前記キーボード、マウス等による入力があった場合に、全ての端末で同期して各端末の利用者映像を順次強調表示していくことを特徴とする。
【0026】
第6の発明は、前記第4又は5の発明の利用者映像提示方法において、全端末の利用者の発言を検知する段階を具備し、利用者入力として発言を用いて、あらかじめ定められた一定の時間間隔、全ての端末で利用者の発言がなかった場合、全ての端末で同期して各端末の利用者映像を順次強調表示していくことを特徴とする。
【0027】
第7の発明は、前記第4乃至第6のうちいずれか1つの利用者映像提示方法において、端末利用者映像の強調表示として、利用者映像の拡大表示を用いることを特徴とする。
【0028】
第8の発明は、前記第4乃至第7のうちいずれか1つの利用者映像提示方法において、各端末の利用者映像を順次強調表示していく段階として、あらかじめ定められた規則に従って強調表示する利用者映像を選択する段階と、あらかじめ定められた一定時間の間、選択された利用者映像を強調表示する段階と、次の利用者映像の選択の継続を判定する段階とを具備することを特徴とする。
【0029】
第9の発明は、前記第8の発明の利用者映像提示方法において、各端末利用者の発言を個別に判定する段階を具備し、各端末利用者映像のリストを保持し、直前に発言した利用者の次の利用者映像を先頭として、リストの順番に従って強調表示する利用者映像を選択することを特徴とする。
【0030】
第10の発明は、前記第8又は第9の発明の利用者映像提示方法において、各端末利用者の発言の有無を個別に判定する段階を具備し、利用者の発言があった場合に、利用者映像の選択を終了することを特徴とする。
【0031】
第11の発明は、前記第4乃至第10のうちいずれか1つの利用者映像提示方法において、各端末利用者の発言の有無を個別に判定する段階を具備し、前記発言の有無を個別に判定する段階で判定された個別の発言に基づき、全ての端末で同期して発言中の利用者映像を強調表示することを特徴とする。
【0032】
第12の発明は、前記第4乃至第10のうちいずれか1つの利用者映像提示方法におけるステップをコンピュータに実行させるための利用者映像提示プログラムである。
【0033】
第13の発明は、前記第4乃至第10のうちいずれか1つの利用者映像提示方法におけるステップをコンピュータに実行させためのプログラムとして、前記プログラムを前記コンピュータで読取り可能な記録媒体に記録した利用者映像提示プログラム記録媒体である。
【0034】
【発明の実施形態】
以下、図面を参照して、本発明についてその実施形態(実施例)の説明とともに詳細に説明する。
本発明の実施形態を説明するための全図において、同一機能を具備するものは符号を付け、その繰り返しの説明は省略する。
【0035】
(実施例1)
図1は本発明の実施例1の多地点テレビ会議システムにおける利用者映像提示方法を実施するためのサーバ装置の概略構成を示すブロック構成図である。
【0036】
本実施例1のサーバ装置は、複数の端末をネットワークで接続し、端末利用者の映像や音声を送受信しあうことにより、多地点に分散した複数の利用者によるコミュニケーションを実現する多地点テレビ会議システムに用いる本実施例1の利用者映像提示方法を実施するためのものである。
【0037】
図1に示すように、本実施例1のサーバ装置100は、図1に示すように、ネットワーク101に接続するネットワーク接続部1と、前記前記ネットワークから入力される信号(情報)を復号する復号部2と、前記復号信号から映像を合成する画像合成部3と、前記復号信号から音声を合成する音声合成部4と、前記復号信号から全端末の利用者入力の有無を判定する入力判定部5と、利用者(会議出者)の誰が発言したかを判定する発言判定部6と、前記入力判定部5で判定された利用者入力の有無に基づき、全ての端末で同期して各端末の利用者画像を順次強調表示していく強調表示指示信号発生部7と、全ての端末を同期させるための同期信号生成部8と、前記画像合成部3、音声合成部4、及び強調表示指示信号発生部7のそれぞれの出力を符号化して前記ネットワーク接続部1に入力する符号化部とを備えている。
【0038】
前記同期信号生成部8において、前記全ての端末で同期して各端末の利用者画像を順次強調表示していく場合、各端末装置間で、予め時計を同期させておくなどの方法により、同期信号生成部8で生成される同期信号を同期させる。
【0039】
前記サーバ装置100は、前記ネットワーク101からの信号をネットワーク接続部1で受信する。この受信された信号は、復号部2で復号され、この復号信号中の画像信号は画像合成部3で映像に合成される。また、前記復号信号中の音声信号は音声合成部4で音声に合成される。前記復号信号中の全端末の利用者入力の有無が入力判定部5で判定される。この場合の利用者入力としては各端末でのマウス・キーボード入力などの他に、音声入力を用いることもできる。前記入力判定部5で判定された利用者入力の有無に基づき、全ての端末は、同期信号生成部8により同期させて強調表示指示信号発生部7で各端末の利用者画像を順次強調表示していく。前記画像合成部3、音声合成部4、及び強調表示指示信号発生部7のそれぞれの出力を符号化部で符号化して前記ネットワーク接続部1に入力される。なお、前記会議出者の誰が発言したかを判定する発言判定部6は、この実施例1では不要の場合もある。
【0040】
図2は本発明の実施例1の多地点テレビ会議システムにおける利用者映像提示方法を実施するための利用者用端末装置の概略構成を示すブロック構成図である。
【0041】
本実施例1の利用者用端末装置は、複数の端末をネットワークで接続し、端末利用者の映像や音声を送受信しあうことで、多地点に分散した複数の利用者によるコミュニケーションを実現する多地点テレビ会議システムに用いる本実施例1の利用者映像提示方法を実施するためのものである。
【0042】
図2に示すように、本実施例1の利用者用端末装置200は、前記ネットワーク101に接続するネットワーク接続部11と、カメラからの画像信号(画像情報)を入力する画像入力部12と、マイクからの音声信号(音声情報)を入力する音声入力部13と、キーボード、マウス等から情報(信号)を入力する利用者入力部14と、前記画像入力部12、音声入力部13、及び利用者入力部14のそれぞれの出力である画像信号、音声信号、及び利用者信号を符号化してネットワーク接続部に入力する符号化部15と、前記ネットワーク接続部11からの出力信号を復号する復号部16と、各端末の利用者画像を順次強調表示していくための強調表示指示信号発生部17と、前記復号部16及び強調表示指示信号発生部17のそれぞれの出力信号から利用者映像を再生する利用者映像再生部18と、前記復号信号中の音声信号から音声を合成する音声再生部19とを備えている。
【0043】
前記利用者用端末装置200は、カメラ201から画像入力部12に画像信号が入力され、マイク202から音声入力部13に音声信号が入力され、キーボード、マウス等から利用者入力部14にキーボード、マウス等から入力される。前記画像入力部12、音声入力部13、及び利用者入力部14のそれぞれの出力である画像信号、音声信号、及び利用者信号は、符号化部15で符号化されてネットワーク接続部11に入力されネットワーク101に送信される。また、ネットワーク101からの信号をネットワーク接続部11で受信する。ネットワーク接続部11で受信された信号は、復号部16で復号される。この復号された信号は、強調表示指示信号発生部17に入力され、前記復号信号中の画像信号対する、各端末の利用者画像を順次強調表示していくための強調表示指示信号が発生される。この強調表示指示信号は、前記利用者映像再生部18に入力される。前記利用者映像再生部18では、前記復号信号中の画像信号に対する前記各端末の利用者画像を順次強調表示した利用者映像が再生される。この再生された利用者映像は表示装置204に表示される。また、前記復号信号中の音声信号は、前記音声再生部19で再生されてスピーカ205で発声される。
【0044】
図3は本実施例1の多地点テレビ会議システムにおける利用者映像提示方法の処理手順を示すフローチャートである。
【0045】
次に、本実施例1の多地点テレビ会議システムにおける利用者映像提示方法について説明する。
【0046】
本実施例1の利用者映像提示方法は、図3に示すように、初めに、ステップS101の段階で各端末で全ての端末利用者映像を表示する。この際、自端末利用者の画像も同様に表示する。
【0047】
ここで、端末利用者映像の表示方法としては、各端末利用者映像を、図4に示すように同じ大きさでタイル状に配置する方法や、図5に示すように同じ大きさで円周上に配置する方法が考えられる。
【0048】
続いて、ステップS102の段階で全ての端末の利用者入力の有無を判定する。その判定の結果がAの場合はS102の段階を繰り返し実行する。前記判定の結果がBの場合はステップS103の段階へ進む。
【0049】
ここで、利用者入力としてはキーボード入力や発言が考えられる。利用者入力がキーボード入力の場合、キーボード入力があった場合にBと判定してステップS103の段階へ進み、キーボード入力がない場合はAと判定してステップS102の段階を繰り返す。これにより利用者は発言に対する同意を得たい場合などに、意図的にステップS103の段階を実行することができる。キーボードの替わりにマウスや何らかのボタンを用いることも可能である。
【0050】
一方、利用者入力が発言の場合は、別途定められた一定の時間の間、全ての端末で発言がなかった場合にBと判定し、それ以外の場合はAと判定する。
【0051】
発言としては、利用者の会話音声を用いることができる。例えば、各端末で利用者の会話音声のマイク入力の音庄を測定し、音圧が別途定められた一定レベルを超えた場合に発言有りとし、それ以外の場合に発言無しとする。
【0052】
これにより一定時間、利用者間の会話がなかった場合に、自動的にステップS103の段階に進み、発言後の合意過程を円滑に進めたり、利用者の発言を促進することができる。勿論、この場合の音圧の測定は、全ての端末からの会話音声を合成してから行う方法も考えられる。
【0053】
ここで、利用者入力の判定は全ての端末の入力信号(情報)をサーバ装置に集めて行うのが一般的である。勿論、サーバ装置を用いることなく、各端末の入力信号(情報)を全端末に同報して各端末で判定を行うことも可能である。
【0054】
前記ステップS103の段階では全ての端末で同期して各端末の利用者映像を順次強調表示する。
【0055】
同期の方法としては、前述の入力信号(情報)をサーバ装置に集め、サーバ装置から順次強調表示開始の指示を全端末へ同報するのが容易である。同期の精度をあげる方法としては、順次強調表示開始の指示を時刻信号(情報)つきで行うことが考えられる。
【0056】
各端末の時計をNTPv3(Network Time Protcol v3)などを用いて同期させ、絶対時刻で開始指示を行うことで同期の精度を高めることができる。NTPv3は一般的には1msec以下の精度で時刻あわせが可能である。
【0057】
また、強調表示の例としては、強調する画像を拡大表示したり、強調する画像の枠の色や幅を変更したり、あるいは強調しない画像の表示を半透明状にしたり、強調しない画像の色を薄くしたり、強調しない画像のフレームレートを落としたりすることなどが考えられる。
【0058】
図6に拡大表示の例を示す。601が通常時の画面イメージで、602が右上の利用者画像を拡大強調表示したときの画面イメージである。
【0059】
図7にもう1つの拡大表示の例を示す。701が通常時の画面イメージで、702が右上の利用者映像を拡大強調表示したときの画面イメージである。図6では画像そのものを拡大表示しているが、図7では表示領域を拡大している。
【0060】
図8に枠の幅と色の変更の例を示す。801が通常時の画面イメージで、802が右上の利用者映像を枠の幅と色の変更強調表示したときの画面イメージである。右上の利用者映像の枠の幅を太くし、他の利用者映像の枠の色を変えることで強調表示を行っている。
【0061】
図9に強調しない画像の表示を半透明状にした例を示す。901が通常時の画面イメージで、902が右上の利用者映像を強調表示するために、他の3つの利用者映像を半透明状にしたときの画面イメージである。
【0062】
図10に強調しない画像の色を薄くした例を示す。1001が通常時のカラー表示の画面イメージで、1002が右上の利用者映像を強調表示するために、右上の利用者映像のみカラー表示とし、他の3つはモノクロ表示にしたときの画面イメージである。すなわち、前記1002において、強調しない画像の色を完全にモノクロにしている。
【0063】
図11は、前記図3に示すステップS103の段階の一実施例の処理手順を示すフローチャートである。
【0064】
前記ステップS103の処理は、まず、図11に示すステップS401の段階であらかじめ定められた規則に従って、強調表示する利用者画像を選択する。
【0065】
ここで、あらかじめ定められた規則の例としては、各端末利用者映像に整数値などの一意な値を振った画像リストに基づき、最も小さな値から昇順に選択する方法や、前記画像リストを循環的なリストとして、前記ステップS103の段階に入る直前の発言者を知る手段を持つことにより、その発言者画像の値の次に小さな値から昇順(この場合、最も大きな値の次に最も小さな値が来る)に選択する方法が考えられる。
【0066】
次に、ステップS402の段階で、あらかじめ定められた一定時間の間、選択された利用者画像を強調表示する。一定時間経過後、利用者映像は通常表示に戻す。そして、ステップS403の段階で、次の利用者映像の選択の継続を判定する。終了(継続判定=No)の条件としては、キーボード入力などにより利用者から明示的に指示された場合、前述の画像リストが終了(循環リストの場合はリストが1周)した場合、利用者の発言があった場合、強調表示中以外の利用者から発言があった場合などが考えられる。また、これらの組み合わせとして、循環リストが1周以上しており、かつ、強調表示中以外の利用者から発言があった場合などの条件も考えられる。
【0067】
前記ステップS403の段階で、終了条件が満たされなかった場合、前記ステップS401の段階へ戻り、強調表示する利用者映像の選択を繰り返し、満たされた場合は、前記ステップS103の段階を終了する。
【0068】
(実施例2)
図12は本発明の実施例2の多地点テレビ会議システムにおける利用者映像提示方法を実施するための利用者用端末装置の概略構成を示すブロック構成図である。
【0069】
本実施例2の利用者用端末装置は、前記多地点テレビ会議システムに用いる、利用者用端末装置側において、入力判定(及び発言判定)を行い、強調表示指示信号を生成し、この信号の指示に従って、同期信号に基づき同期を取りつつ、利用者映像を表示するものである。
【0070】
図12に示すように、本実施例2の利用者用端末装置200Aは、ネットワーク101に接続するネットワーク接続部11と、カメラからの画像信号(画像情報)を入力する画像入力部12と、マイクからの音声信号(音声情報)を入力する音声入力部13と、キーボード、マウス等から信号(情報)を入力する利用者入力部14と、前記画像入力部12、音声入力部13、及び利用者入力部14のそれぞれの出力である画像信号、音声信号、及び利用者信号を符号化してネットワーク接続部11に入力する符号化部15と、前記ネットワークから入力される信号を復号する復号部16と、前記復号部で復号された復号信号中の画像信号から利用者映像を合成する画像合成部3と、前記復号信号から全端末の利用者入力の有無を判定する入力判定部5と、前記復号信号から利用者(会議出席者)の誰が発言したかを知るための利用者発言の有無を判定する発言判定部6と、前記入力判定部5で判定された利用者入力の有無もしくは利用者発言の有無に基づき、全ての端末で同期して各端末の利用者画像を順次強調表示していく強調表示指示信号発生部7と、前記復号部の出力信号(情報)から画像を合成する画像合成部3と、前記画像合成部3及び強調表示指示信号発生部7のそれぞれの出力信号(情報)から利用者映像を再生する利用者映像再生部17とを備えている。
【0071】
前記全ての端末で同期して各端末の利用者画像を順次強調表示していく場合、各端末装置間で、予め時計を同期させておくなどの方法により、同期信号生成部8で生成される同期信号を同期させる。
【0072】
図13は本実施例2の多地点テレビ会議システムにおける利用者映像提示方法の処理手順を示すフローチャートである。
【0073】
次に、本実施例2の多地点テレビ会議システムにおける利用者映像提示方法について説明する。
【0074】
本実施例1の利用者映像提示方法は、図13に示すように、ステップS501、S502、S503の段階は、それぞれ前述した図3のステップS101、S102、S103の段階と同等である。
【0075】
ステップS504の段階で、各端末利用者の発言の有無を個別に判定し、発言が合った場合はステップS505の段階に進み、なかった場合はステップS502の段階に進む。ここで、発言としては、前記ステップS102の段階の説明で前述したように、利用者の会話音声を用いることができる。
【0076】
ステップS505の段階では、全ての端末で同期して発言中の利用者映像を強調表示する。
【0077】
なお、この場合は、ステップS505の段階における図11に示す前記ステップS403の段階において、終了の条件として、前述のように、「利用者の発言があった場合」を含めておくことにより、より迅速に(リアルタイムに近い形で)発言中の利用映像を強調表示することができる。
【0078】
以上、本発明者によってなされた発明を、前記実施例に基づき具体的に説明したが、本発明は、前記実施例に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは勿論である。
【0079】
【発明の効果】
本願において開示される発明によって得られる効果を簡単に説明する。
【0080】
本発明によれば、利用者映像を全端末で同期して順次強調表示することにより、強調表示された利用者映像に利用者の視線を誘導することができる。
【0081】
また、自分の画像が強調表示された利用者に反応を返すタイミングを与えることを、強調表示された利用者映像に利用者の視線を誘導すると同時に引き起こすことができる。
【0082】
これにより、相手を見ているときに相手が反応を返してくれるので、1つの部屋で行われる多人数会議で発言の後に参加者を眺め回すような行為を模擬することができるので、他の利用者に同意を求めたりすることが容易になる。
【0083】
また、相手が自分を見ているときに自分が強調表示されるので、意見を返すタイミングを容易に得ることができる。自分の画像が強調表示されることにより、発言促進の効果も期待される。
【0084】
さらには、相手が自分を見ているかどうかの推測が容易になり、うなずきなどのノンバーバルな信号(情報)を用いたコミュニケーションも容易になる。
【0085】
このような利点を持った多地点テレビ会議システムを、カメラやディスプレイの台数及び設置位置にほとんど制約なく、手軽な端末装置で構成することができる。
【0086】
カメラ付きのノートパソコンなどを用いることにより、どこでも簡単にシステムを利用できるようになる。端末装置と利用者の位置関係の制約もほとんどないので、気付かないうちに視線信号(情報)が伝わらなくなり、混乱を招くこともない。そのため、大きく動いてはいけないという心理的な負担もなく、利用者は気軽にシステムを利用することができるようになる。
【0087】
また、端末から送信する画像は1つなので、従来の視線伝達型テレビ会議システムと比べてネットワーク帯域を抑制することができる。
【図面の簡単な説明】
【図1】本発明の実施例1の多地点テレビ会議システムにおける利用者映像提示方法を実施するためのサーバ装置の概略構成を示すブロック構成図である。
【図2】本実施例1の利用者用端末装置の概略構成を示すブロック図である。
【図3】本実施例1の多地点テレビ会議システムにおける利用者映像提示方法の処理手順を示すフローチャートである。
【図4】本実施例1の各端末利用者映像を同じ大きさでタイル状に配置する方法を説明するための図である。
【図5】本実施例1の各端末利用者映像を同じ大きさで円周上に配置する方法を説明するための図である。
【図6】本実施例1の拡大表示の例を説明するための図である。
【図7】本実施例1のもう1つの拡大表示の例を説明するための図である。
【図8】本実施例1の枠の幅と色の変更の例を説明するための図である。
【図9】本実施例1の強調しない画像の表示を半透明状にした例を説明するための図である。
【図10】本実施例1の通常時の画面イメージとその右上の利用者映像を強調表示したときの画面イメージを説明するための図である。
【図11】本実施例1の図3に示すステップS103の段階の一実施例の処理手順を示すフローチャートである。
【図12】本発明の実施例2の多地点テレビ会議システムにおける利用者映像提示方法を実施するための利用者用端末装置の概略構成を示すブロック構成図である。
【図13】本実施例2の多地点テレビ会議システムにおける利用者映像提示方法の処理手順を示すフローチャートである。
【符号の説明】
100…サーバ装置 101…ネットワーク
1…ネットワーク接続部 2…復号部
3…画像合成部 4…音声合成部
5…入力判定部 6…発言判定部
7…強調表示指示信号発生部 8…同期信号生成部
200…利用者用端末装置 201…カメラ
202…マイク 203…キーボード、マウス等
204表示装置 205…スピーカ
11…ネットワーク接続部 12…画像入力部
13…音声入力部 14…利用者入力部
15…符号化部 16…復号部
17…強調表示指示信号発生部 18…利用者映像再生部
19…音声再生部 200A…利用者用端末装置
【発明の属する技術分野】
本発明は、複数の端末をネットワークで接続し、端末利用者の画像や音声を送受信しあうことにより、多地点に分散した複数の利用者によるコミュニケーションを実現する多地点テレビ会議システムの利用者映像提示方法に関する。
【0002】
【従来の技術】
従来、複数の端末をネットワークで接続し、端末利用者の画像や音声を送受信しあうことにより、多地点に分散した複数の利用者によるコミュニケーションを実現する多地点テレビ会議システムがある。
【0003】
典型的な多地点テレビ会議システムでは、1つの地点に1台のカメラと1台のディスプレイを配置し、各地点の利用者映像を画面にタイル状に並べて表示する。発言者の識別を容易にするために、画像枠の色を変えるなどして、タイル状に並べて表示する。
【0004】
接続相手ごとに撮影装置と表示装置を用意することで視線の一致を表現する多地点テレビ会議システムがある。トロント大学のHydraはカメラとディスプレイを一体にした小型の装置をある程度の間隔を開けて机上に配置する。ディスプレイが小型で、かつカメラと一体になっているため、利用者映像とカメラの位置関係を厳密に調整する必要がなく、装置を適度な間隔をあけて配置するだけで、自然に視線の一致が実現されるようになっている。
【0005】
Hydraの詳細については、文献1(Sellen A. Buxton W.A Arnott J. "Using spatial cues to improve videoconferencing"、Proceedings of CHI '92 pp.651-652 1992)などに記述されている。
【0006】
より高い臨場感を提伏する多地点テレビ会議システムとして、慶應義塾大学のMAJICがある。MAJICは半透過型のスクリーンを曲面状に設置し、遠隔2地点の利用者の等身大画像を投影する。スクリーンに投影される利用者映像の後方にそれぞれの対地用のカメラを設置することにより、3地点の利用者間での視線一致を実現している。異なった地点から送られてくる背景を実現し臨場感を高める工夫をしている。
【0007】
MAJICの詳細については、文献2(岡田謙一、松下温、"臨場感のある多地点テレビ会議システム:MAJIC"、信号(情報)処理学会論文誌、Vol.36 No.3 pp.775-783 1995)などに記述されている。
【0008】
視線検知器を使用して利用者の視線方向を伝達するシステムがある。クィーンズ大学のGAZE-2は、ハーフミラーを用いてディスプレイと複数台のカメラを光学的に共役な位置に設置する。視線検知器より得られた信号(情報)を用いて、利用者映像をとらえるカメラを選択するとともに、利用者映像を貼り付けた仮想の板をディスプレイ上で回転させることで利用者の視線方向を伝達する。
【0009】
GAZE-2の詳細については、文献3(VertegaaI R.Weevers I.Shon.C.、"GAZE-2:An Attentive Video Conferencing System"、Extended Abstracts of CH1 2002
pp.736-737 2002)などに記述されている。
【0010】
【発明が解決しようとする課題】
視線は会議を円滑に進めるための重要な要素である。特に、多人数の会議において、発言に対する同意を求める過程で重要な役割を担っている。例えば、我々は会議の中で、相手を見ることによりその人に同意を求めるということを自然に行っている。見られたほうは見られることにより意見を返すタイミングを容易に得ることができる。また、うなずきのようなノンバーバルな信号(情報)が相手に伝わっているかどうかも、相手が自分を見ているかどうかが分かれば容易に判断することができる。
【0011】
このように視線信号(情報)の中でも、特に、自分が相手を見ているときに、相手が見られていることを把握できれば、会議における合意形成の過程を円滑に進めることができると期待される。
【0012】
1地点に1台のカメラと1台のディスプレイを配置する典型的な多地点テレビ会システムでは、利用者の顔映像がタイル状に表示されるだけで、前述のような会議において重要な要素である利用者の視線信号(情報)が伝わらない。
【0013】
そのため、発言者は発言に対する合意を他の利用者に促すことが容易に行えない。他の利用者は発言のタイミングをうまく得ることができない。さらには、うなずきなどのノンバーバルな信号(情報)が相手利用者に伝わっているのか分からず、結局ノンバーパルな信号(情報)伝達を利用することができないといった問題がある。
【0014】
前記Hydra、MAJIC、GAZE-2などの多地点会義システムでは、視線信号(情報)を相手に伝えることができるので、自分が相手を見ていること、相手が自分を見ていることが分かり、会議における合意形成の過程を円滑に進めることができる。
【0015】
しかしながら、これらのシステムでは、視線信号(情報)の伝達を実現するために、利用者から見た相手利用者の映像とカメラの位置が光学的に一致している必要があるなど、カメラとディスプレイの設置位置や、装置に対する利用者の位置に制約がある。そのため、システムの設置が容易でなかったり、利用者の位置が変わると視線信号(情報)がうまく伝わらなくなるといった問題がある。
【0016】
また、対地数が増えるごとにカメラなどの装置が増え、端末装置が大掛かりになるという問題がある。また、設置位置の物理的な制約により、対地数にも自ずと限界がある。
【0017】
前記GAZ-2は複数のカメラを用いながらも視線検知器を利用することにより、他の地点に伝達する画像を1つとしてネットワークトラフィックの増大を回避しているが、前記HydraやMAJICでは、各地点ごとに別々の映像を伝達する必要があり、ネットワークトラフィックが増大するという問題がある。
【0018】
本発明の目的は、複数の端末をネットワークで接続し、端末利用者の画像や音声を送受信しあうことにより、多地点に分数した複数の利用者によるコミュニケーションを実現する多地点テレビ会議システムにおいて、各地点に1台のカメラ、1台のディスプレイという簡易な端末装置で、ネットワーに大きな負担をかけずに、会議における合意形成の過程を円滑に推進することが可能な技術を提供することにある。
【0019】
本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述及び添付図面によって明らかにする。
【0020】
【課題を解決するための手段】
本願において開示される発明の概要を簡単に説明すれば、以下のとおりである。
【0021】
第1の発明は、複数の端末をネットワークで接続し、端末利用者の映像や音声を送受信しあうことにより、多地点に分散した複数の利用者によるコミュニケーションを実現する多地点テレビ会議システムに用いる利用者映像提示用サーバ装置であって、前記ネットワークに接続するネットワーク接続部と、前記ネットワーク接続部から入力される信号を復号する復号部と、該復号部で復号された復号信号中の画像信号から映像を合成する画像合成部と、前記復号信号中の音声信号から音声を合成する音声合成部と、前記復号信号から全端末の利用者入力の有無を判定する入力判定部と、前記入力判定部で判定された利用者入力の有無に基づき、全ての端末で同期して各端末の利用者画像を順次強調表示していく強調表示指示信号発生部を具備することを特徴とする。
【0022】
第2の発明は、複数の端末をネットワークで接続し、端末利用者の画像や音声を送受信しあうことにより、多地点に分散した複数の利用者によるコミュニケーションを実現する多地点テレビ会議システムに用いる利用者用端末装置であって、前記ネットワークに接続するネットワーク接続部と、カメラからの画像信号(画像情報)を入力する画像入力部と、マイクからの音声信号(音声情報)を入力する音声入力部と、利用者が情報をキーボード、マウス等により入力する利用者入力部と、前記画像入力部、音声入力部、及び利用者入力部のそれぞれの出力である画像信号、音声信号、及び利用者信号を符号化してネットワーク接続部に入力する符号化部と、利用者入力の有無に基づき、全ての端末で同期して各端末の利用者画像を順次強調表示していくための強調表示指示信号発生部と、前記復号部及び強調表示指示信号発生部のそれぞれの出力信号から利用者映像を再生する利用者映像再生部とを具備することを特徴とする。
【0023】
第3の発明は、複数の端末をネットワークで接続し、端末利用者の画像や音声を送受信しあうことにより、多地点に分散した複数の利用者によるコミュニケーションを実現する多地点テレビ会議システムに用いる利用者用端末装置であって、前記ネットワークに接続するネットワーク接続部と、カメラからの画像信号(画像情報)を入力する画像入力部と、マイクからの音声信号(音声情報)を入力する音声入力部と、利用者が情報をキーボード、マウス等により入力する利用者入力部と、前記画像入力部、音声入力部、及び利用者入力部のそれぞれの出力である画像信号、音声信号、及び利用者信号(利用者情報)を符号化してネットワーク接続部に入力する符号化部と、前記ネットワーク接続部から入力される信号を復号する復号部と、前記復号部で復号された信号中の映像信号から映像を合成する画像合成部と、前記復号信号から全端末の利用者入力の有無を判定する入力判定部と、前記復号信号から会議出席者の発言の有無を判定する発言判定部と、前記入力判定部で判定された利用者入力の有無、もしくは発言判定部で判定された利用者(会議出席者)の発言の有無に基づき、全ての端末で同期して各端末の利用者画像を順次強調表示していく強調表示指示信号発生部と、前記画像合成部及び強調表示指示信号発生部のそれぞれの出力信号(情報)から利用者映像を再生する利用者映像再生部とを具備することを特徴とする。
【0024】
第4の発明は、複数の端末をネットワークで接続し、端末利用者の画像や音声を送受信しあうことにより、多地点に分散した複数の利用者によるコミュニケーションを実現する多地点テレビ会議システムにおいて、各端末で自端末利用者映像を含む全ての端末利用者映像を表示する段階と、全端末の利用者入力の有無を判定する段階と、前記判定する段階で判定された利用者入力の有無に基づき、全ての端末で同期して各端末の利用者映像を順次強調表示していく段階とを具備する利用者映像提示方法である。
【0025】
第5の発明は、前記第4の発明の利用者映像提示方法において、全端末のキーボード、マウス等による入力を検知する段階を具備し、前記キーボード、マウス等による入力があった場合に、全ての端末で同期して各端末の利用者映像を順次強調表示していくことを特徴とする。
【0026】
第6の発明は、前記第4又は5の発明の利用者映像提示方法において、全端末の利用者の発言を検知する段階を具備し、利用者入力として発言を用いて、あらかじめ定められた一定の時間間隔、全ての端末で利用者の発言がなかった場合、全ての端末で同期して各端末の利用者映像を順次強調表示していくことを特徴とする。
【0027】
第7の発明は、前記第4乃至第6のうちいずれか1つの利用者映像提示方法において、端末利用者映像の強調表示として、利用者映像の拡大表示を用いることを特徴とする。
【0028】
第8の発明は、前記第4乃至第7のうちいずれか1つの利用者映像提示方法において、各端末の利用者映像を順次強調表示していく段階として、あらかじめ定められた規則に従って強調表示する利用者映像を選択する段階と、あらかじめ定められた一定時間の間、選択された利用者映像を強調表示する段階と、次の利用者映像の選択の継続を判定する段階とを具備することを特徴とする。
【0029】
第9の発明は、前記第8の発明の利用者映像提示方法において、各端末利用者の発言を個別に判定する段階を具備し、各端末利用者映像のリストを保持し、直前に発言した利用者の次の利用者映像を先頭として、リストの順番に従って強調表示する利用者映像を選択することを特徴とする。
【0030】
第10の発明は、前記第8又は第9の発明の利用者映像提示方法において、各端末利用者の発言の有無を個別に判定する段階を具備し、利用者の発言があった場合に、利用者映像の選択を終了することを特徴とする。
【0031】
第11の発明は、前記第4乃至第10のうちいずれか1つの利用者映像提示方法において、各端末利用者の発言の有無を個別に判定する段階を具備し、前記発言の有無を個別に判定する段階で判定された個別の発言に基づき、全ての端末で同期して発言中の利用者映像を強調表示することを特徴とする。
【0032】
第12の発明は、前記第4乃至第10のうちいずれか1つの利用者映像提示方法におけるステップをコンピュータに実行させるための利用者映像提示プログラムである。
【0033】
第13の発明は、前記第4乃至第10のうちいずれか1つの利用者映像提示方法におけるステップをコンピュータに実行させためのプログラムとして、前記プログラムを前記コンピュータで読取り可能な記録媒体に記録した利用者映像提示プログラム記録媒体である。
【0034】
【発明の実施形態】
以下、図面を参照して、本発明についてその実施形態(実施例)の説明とともに詳細に説明する。
本発明の実施形態を説明するための全図において、同一機能を具備するものは符号を付け、その繰り返しの説明は省略する。
【0035】
(実施例1)
図1は本発明の実施例1の多地点テレビ会議システムにおける利用者映像提示方法を実施するためのサーバ装置の概略構成を示すブロック構成図である。
【0036】
本実施例1のサーバ装置は、複数の端末をネットワークで接続し、端末利用者の映像や音声を送受信しあうことにより、多地点に分散した複数の利用者によるコミュニケーションを実現する多地点テレビ会議システムに用いる本実施例1の利用者映像提示方法を実施するためのものである。
【0037】
図1に示すように、本実施例1のサーバ装置100は、図1に示すように、ネットワーク101に接続するネットワーク接続部1と、前記前記ネットワークから入力される信号(情報)を復号する復号部2と、前記復号信号から映像を合成する画像合成部3と、前記復号信号から音声を合成する音声合成部4と、前記復号信号から全端末の利用者入力の有無を判定する入力判定部5と、利用者(会議出者)の誰が発言したかを判定する発言判定部6と、前記入力判定部5で判定された利用者入力の有無に基づき、全ての端末で同期して各端末の利用者画像を順次強調表示していく強調表示指示信号発生部7と、全ての端末を同期させるための同期信号生成部8と、前記画像合成部3、音声合成部4、及び強調表示指示信号発生部7のそれぞれの出力を符号化して前記ネットワーク接続部1に入力する符号化部とを備えている。
【0038】
前記同期信号生成部8において、前記全ての端末で同期して各端末の利用者画像を順次強調表示していく場合、各端末装置間で、予め時計を同期させておくなどの方法により、同期信号生成部8で生成される同期信号を同期させる。
【0039】
前記サーバ装置100は、前記ネットワーク101からの信号をネットワーク接続部1で受信する。この受信された信号は、復号部2で復号され、この復号信号中の画像信号は画像合成部3で映像に合成される。また、前記復号信号中の音声信号は音声合成部4で音声に合成される。前記復号信号中の全端末の利用者入力の有無が入力判定部5で判定される。この場合の利用者入力としては各端末でのマウス・キーボード入力などの他に、音声入力を用いることもできる。前記入力判定部5で判定された利用者入力の有無に基づき、全ての端末は、同期信号生成部8により同期させて強調表示指示信号発生部7で各端末の利用者画像を順次強調表示していく。前記画像合成部3、音声合成部4、及び強調表示指示信号発生部7のそれぞれの出力を符号化部で符号化して前記ネットワーク接続部1に入力される。なお、前記会議出者の誰が発言したかを判定する発言判定部6は、この実施例1では不要の場合もある。
【0040】
図2は本発明の実施例1の多地点テレビ会議システムにおける利用者映像提示方法を実施するための利用者用端末装置の概略構成を示すブロック構成図である。
【0041】
本実施例1の利用者用端末装置は、複数の端末をネットワークで接続し、端末利用者の映像や音声を送受信しあうことで、多地点に分散した複数の利用者によるコミュニケーションを実現する多地点テレビ会議システムに用いる本実施例1の利用者映像提示方法を実施するためのものである。
【0042】
図2に示すように、本実施例1の利用者用端末装置200は、前記ネットワーク101に接続するネットワーク接続部11と、カメラからの画像信号(画像情報)を入力する画像入力部12と、マイクからの音声信号(音声情報)を入力する音声入力部13と、キーボード、マウス等から情報(信号)を入力する利用者入力部14と、前記画像入力部12、音声入力部13、及び利用者入力部14のそれぞれの出力である画像信号、音声信号、及び利用者信号を符号化してネットワーク接続部に入力する符号化部15と、前記ネットワーク接続部11からの出力信号を復号する復号部16と、各端末の利用者画像を順次強調表示していくための強調表示指示信号発生部17と、前記復号部16及び強調表示指示信号発生部17のそれぞれの出力信号から利用者映像を再生する利用者映像再生部18と、前記復号信号中の音声信号から音声を合成する音声再生部19とを備えている。
【0043】
前記利用者用端末装置200は、カメラ201から画像入力部12に画像信号が入力され、マイク202から音声入力部13に音声信号が入力され、キーボード、マウス等から利用者入力部14にキーボード、マウス等から入力される。前記画像入力部12、音声入力部13、及び利用者入力部14のそれぞれの出力である画像信号、音声信号、及び利用者信号は、符号化部15で符号化されてネットワーク接続部11に入力されネットワーク101に送信される。また、ネットワーク101からの信号をネットワーク接続部11で受信する。ネットワーク接続部11で受信された信号は、復号部16で復号される。この復号された信号は、強調表示指示信号発生部17に入力され、前記復号信号中の画像信号対する、各端末の利用者画像を順次強調表示していくための強調表示指示信号が発生される。この強調表示指示信号は、前記利用者映像再生部18に入力される。前記利用者映像再生部18では、前記復号信号中の画像信号に対する前記各端末の利用者画像を順次強調表示した利用者映像が再生される。この再生された利用者映像は表示装置204に表示される。また、前記復号信号中の音声信号は、前記音声再生部19で再生されてスピーカ205で発声される。
【0044】
図3は本実施例1の多地点テレビ会議システムにおける利用者映像提示方法の処理手順を示すフローチャートである。
【0045】
次に、本実施例1の多地点テレビ会議システムにおける利用者映像提示方法について説明する。
【0046】
本実施例1の利用者映像提示方法は、図3に示すように、初めに、ステップS101の段階で各端末で全ての端末利用者映像を表示する。この際、自端末利用者の画像も同様に表示する。
【0047】
ここで、端末利用者映像の表示方法としては、各端末利用者映像を、図4に示すように同じ大きさでタイル状に配置する方法や、図5に示すように同じ大きさで円周上に配置する方法が考えられる。
【0048】
続いて、ステップS102の段階で全ての端末の利用者入力の有無を判定する。その判定の結果がAの場合はS102の段階を繰り返し実行する。前記判定の結果がBの場合はステップS103の段階へ進む。
【0049】
ここで、利用者入力としてはキーボード入力や発言が考えられる。利用者入力がキーボード入力の場合、キーボード入力があった場合にBと判定してステップS103の段階へ進み、キーボード入力がない場合はAと判定してステップS102の段階を繰り返す。これにより利用者は発言に対する同意を得たい場合などに、意図的にステップS103の段階を実行することができる。キーボードの替わりにマウスや何らかのボタンを用いることも可能である。
【0050】
一方、利用者入力が発言の場合は、別途定められた一定の時間の間、全ての端末で発言がなかった場合にBと判定し、それ以外の場合はAと判定する。
【0051】
発言としては、利用者の会話音声を用いることができる。例えば、各端末で利用者の会話音声のマイク入力の音庄を測定し、音圧が別途定められた一定レベルを超えた場合に発言有りとし、それ以外の場合に発言無しとする。
【0052】
これにより一定時間、利用者間の会話がなかった場合に、自動的にステップS103の段階に進み、発言後の合意過程を円滑に進めたり、利用者の発言を促進することができる。勿論、この場合の音圧の測定は、全ての端末からの会話音声を合成してから行う方法も考えられる。
【0053】
ここで、利用者入力の判定は全ての端末の入力信号(情報)をサーバ装置に集めて行うのが一般的である。勿論、サーバ装置を用いることなく、各端末の入力信号(情報)を全端末に同報して各端末で判定を行うことも可能である。
【0054】
前記ステップS103の段階では全ての端末で同期して各端末の利用者映像を順次強調表示する。
【0055】
同期の方法としては、前述の入力信号(情報)をサーバ装置に集め、サーバ装置から順次強調表示開始の指示を全端末へ同報するのが容易である。同期の精度をあげる方法としては、順次強調表示開始の指示を時刻信号(情報)つきで行うことが考えられる。
【0056】
各端末の時計をNTPv3(Network Time Protcol v3)などを用いて同期させ、絶対時刻で開始指示を行うことで同期の精度を高めることができる。NTPv3は一般的には1msec以下の精度で時刻あわせが可能である。
【0057】
また、強調表示の例としては、強調する画像を拡大表示したり、強調する画像の枠の色や幅を変更したり、あるいは強調しない画像の表示を半透明状にしたり、強調しない画像の色を薄くしたり、強調しない画像のフレームレートを落としたりすることなどが考えられる。
【0058】
図6に拡大表示の例を示す。601が通常時の画面イメージで、602が右上の利用者画像を拡大強調表示したときの画面イメージである。
【0059】
図7にもう1つの拡大表示の例を示す。701が通常時の画面イメージで、702が右上の利用者映像を拡大強調表示したときの画面イメージである。図6では画像そのものを拡大表示しているが、図7では表示領域を拡大している。
【0060】
図8に枠の幅と色の変更の例を示す。801が通常時の画面イメージで、802が右上の利用者映像を枠の幅と色の変更強調表示したときの画面イメージである。右上の利用者映像の枠の幅を太くし、他の利用者映像の枠の色を変えることで強調表示を行っている。
【0061】
図9に強調しない画像の表示を半透明状にした例を示す。901が通常時の画面イメージで、902が右上の利用者映像を強調表示するために、他の3つの利用者映像を半透明状にしたときの画面イメージである。
【0062】
図10に強調しない画像の色を薄くした例を示す。1001が通常時のカラー表示の画面イメージで、1002が右上の利用者映像を強調表示するために、右上の利用者映像のみカラー表示とし、他の3つはモノクロ表示にしたときの画面イメージである。すなわち、前記1002において、強調しない画像の色を完全にモノクロにしている。
【0063】
図11は、前記図3に示すステップS103の段階の一実施例の処理手順を示すフローチャートである。
【0064】
前記ステップS103の処理は、まず、図11に示すステップS401の段階であらかじめ定められた規則に従って、強調表示する利用者画像を選択する。
【0065】
ここで、あらかじめ定められた規則の例としては、各端末利用者映像に整数値などの一意な値を振った画像リストに基づき、最も小さな値から昇順に選択する方法や、前記画像リストを循環的なリストとして、前記ステップS103の段階に入る直前の発言者を知る手段を持つことにより、その発言者画像の値の次に小さな値から昇順(この場合、最も大きな値の次に最も小さな値が来る)に選択する方法が考えられる。
【0066】
次に、ステップS402の段階で、あらかじめ定められた一定時間の間、選択された利用者画像を強調表示する。一定時間経過後、利用者映像は通常表示に戻す。そして、ステップS403の段階で、次の利用者映像の選択の継続を判定する。終了(継続判定=No)の条件としては、キーボード入力などにより利用者から明示的に指示された場合、前述の画像リストが終了(循環リストの場合はリストが1周)した場合、利用者の発言があった場合、強調表示中以外の利用者から発言があった場合などが考えられる。また、これらの組み合わせとして、循環リストが1周以上しており、かつ、強調表示中以外の利用者から発言があった場合などの条件も考えられる。
【0067】
前記ステップS403の段階で、終了条件が満たされなかった場合、前記ステップS401の段階へ戻り、強調表示する利用者映像の選択を繰り返し、満たされた場合は、前記ステップS103の段階を終了する。
【0068】
(実施例2)
図12は本発明の実施例2の多地点テレビ会議システムにおける利用者映像提示方法を実施するための利用者用端末装置の概略構成を示すブロック構成図である。
【0069】
本実施例2の利用者用端末装置は、前記多地点テレビ会議システムに用いる、利用者用端末装置側において、入力判定(及び発言判定)を行い、強調表示指示信号を生成し、この信号の指示に従って、同期信号に基づき同期を取りつつ、利用者映像を表示するものである。
【0070】
図12に示すように、本実施例2の利用者用端末装置200Aは、ネットワーク101に接続するネットワーク接続部11と、カメラからの画像信号(画像情報)を入力する画像入力部12と、マイクからの音声信号(音声情報)を入力する音声入力部13と、キーボード、マウス等から信号(情報)を入力する利用者入力部14と、前記画像入力部12、音声入力部13、及び利用者入力部14のそれぞれの出力である画像信号、音声信号、及び利用者信号を符号化してネットワーク接続部11に入力する符号化部15と、前記ネットワークから入力される信号を復号する復号部16と、前記復号部で復号された復号信号中の画像信号から利用者映像を合成する画像合成部3と、前記復号信号から全端末の利用者入力の有無を判定する入力判定部5と、前記復号信号から利用者(会議出席者)の誰が発言したかを知るための利用者発言の有無を判定する発言判定部6と、前記入力判定部5で判定された利用者入力の有無もしくは利用者発言の有無に基づき、全ての端末で同期して各端末の利用者画像を順次強調表示していく強調表示指示信号発生部7と、前記復号部の出力信号(情報)から画像を合成する画像合成部3と、前記画像合成部3及び強調表示指示信号発生部7のそれぞれの出力信号(情報)から利用者映像を再生する利用者映像再生部17とを備えている。
【0071】
前記全ての端末で同期して各端末の利用者画像を順次強調表示していく場合、各端末装置間で、予め時計を同期させておくなどの方法により、同期信号生成部8で生成される同期信号を同期させる。
【0072】
図13は本実施例2の多地点テレビ会議システムにおける利用者映像提示方法の処理手順を示すフローチャートである。
【0073】
次に、本実施例2の多地点テレビ会議システムにおける利用者映像提示方法について説明する。
【0074】
本実施例1の利用者映像提示方法は、図13に示すように、ステップS501、S502、S503の段階は、それぞれ前述した図3のステップS101、S102、S103の段階と同等である。
【0075】
ステップS504の段階で、各端末利用者の発言の有無を個別に判定し、発言が合った場合はステップS505の段階に進み、なかった場合はステップS502の段階に進む。ここで、発言としては、前記ステップS102の段階の説明で前述したように、利用者の会話音声を用いることができる。
【0076】
ステップS505の段階では、全ての端末で同期して発言中の利用者映像を強調表示する。
【0077】
なお、この場合は、ステップS505の段階における図11に示す前記ステップS403の段階において、終了の条件として、前述のように、「利用者の発言があった場合」を含めておくことにより、より迅速に(リアルタイムに近い形で)発言中の利用映像を強調表示することができる。
【0078】
以上、本発明者によってなされた発明を、前記実施例に基づき具体的に説明したが、本発明は、前記実施例に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは勿論である。
【0079】
【発明の効果】
本願において開示される発明によって得られる効果を簡単に説明する。
【0080】
本発明によれば、利用者映像を全端末で同期して順次強調表示することにより、強調表示された利用者映像に利用者の視線を誘導することができる。
【0081】
また、自分の画像が強調表示された利用者に反応を返すタイミングを与えることを、強調表示された利用者映像に利用者の視線を誘導すると同時に引き起こすことができる。
【0082】
これにより、相手を見ているときに相手が反応を返してくれるので、1つの部屋で行われる多人数会議で発言の後に参加者を眺め回すような行為を模擬することができるので、他の利用者に同意を求めたりすることが容易になる。
【0083】
また、相手が自分を見ているときに自分が強調表示されるので、意見を返すタイミングを容易に得ることができる。自分の画像が強調表示されることにより、発言促進の効果も期待される。
【0084】
さらには、相手が自分を見ているかどうかの推測が容易になり、うなずきなどのノンバーバルな信号(情報)を用いたコミュニケーションも容易になる。
【0085】
このような利点を持った多地点テレビ会議システムを、カメラやディスプレイの台数及び設置位置にほとんど制約なく、手軽な端末装置で構成することができる。
【0086】
カメラ付きのノートパソコンなどを用いることにより、どこでも簡単にシステムを利用できるようになる。端末装置と利用者の位置関係の制約もほとんどないので、気付かないうちに視線信号(情報)が伝わらなくなり、混乱を招くこともない。そのため、大きく動いてはいけないという心理的な負担もなく、利用者は気軽にシステムを利用することができるようになる。
【0087】
また、端末から送信する画像は1つなので、従来の視線伝達型テレビ会議システムと比べてネットワーク帯域を抑制することができる。
【図面の簡単な説明】
【図1】本発明の実施例1の多地点テレビ会議システムにおける利用者映像提示方法を実施するためのサーバ装置の概略構成を示すブロック構成図である。
【図2】本実施例1の利用者用端末装置の概略構成を示すブロック図である。
【図3】本実施例1の多地点テレビ会議システムにおける利用者映像提示方法の処理手順を示すフローチャートである。
【図4】本実施例1の各端末利用者映像を同じ大きさでタイル状に配置する方法を説明するための図である。
【図5】本実施例1の各端末利用者映像を同じ大きさで円周上に配置する方法を説明するための図である。
【図6】本実施例1の拡大表示の例を説明するための図である。
【図7】本実施例1のもう1つの拡大表示の例を説明するための図である。
【図8】本実施例1の枠の幅と色の変更の例を説明するための図である。
【図9】本実施例1の強調しない画像の表示を半透明状にした例を説明するための図である。
【図10】本実施例1の通常時の画面イメージとその右上の利用者映像を強調表示したときの画面イメージを説明するための図である。
【図11】本実施例1の図3に示すステップS103の段階の一実施例の処理手順を示すフローチャートである。
【図12】本発明の実施例2の多地点テレビ会議システムにおける利用者映像提示方法を実施するための利用者用端末装置の概略構成を示すブロック構成図である。
【図13】本実施例2の多地点テレビ会議システムにおける利用者映像提示方法の処理手順を示すフローチャートである。
【符号の説明】
100…サーバ装置 101…ネットワーク
1…ネットワーク接続部 2…復号部
3…画像合成部 4…音声合成部
5…入力判定部 6…発言判定部
7…強調表示指示信号発生部 8…同期信号生成部
200…利用者用端末装置 201…カメラ
202…マイク 203…キーボード、マウス等
204表示装置 205…スピーカ
11…ネットワーク接続部 12…画像入力部
13…音声入力部 14…利用者入力部
15…符号化部 16…復号部
17…強調表示指示信号発生部 18…利用者映像再生部
19…音声再生部 200A…利用者用端末装置
Claims (13)
- 複数の端末をネットワークで接続し、端末利用者の映像や音声を送受信しあうことにより、多地点に分散した複数の利用者によるコミュニケーションを実現する多地点テレビ会議システムに用いる利用者映像提示用サーバ装置であって、
前記ネットワークに接続するネットワーク接続部と、前記ネットワーク接続部から入力される信号を復号する復号部と、
該復号部で復号された復号信号中の画像信号から映像を合成する画像合成部と、
前記復号信号中の音声信号から音声を合成する音声合成部と、
前記復号信号から全端末の利用者入力の有無を判定する入力判定部と、
前記入力判定部で判定された利用者入力の有無に基づき、全ての端末で同期して各端末の利用者画像を順次強調表示していく強調表示指示信号発生部を具備することを特徴とする利用者映像提示用サーバ装置。 - 複数の端末をネットワークで接続し、端末利用者の画像や音声を送受信しあうことにより、多地点に分散した複数の利用者によるコミュニケーションを実現する多地点テレビ会議システムに用いる利用者用端末装置であって、
前記ネットワークに接続するネットワーク接続部と、
カメラからの画像信号(画像情報)を入力する画像入力部と、
マイクからの音声信号(音声情報)を入力する音声入力部と、
利用者が情報をキーボード、マウス等により入力する利用者入力部と、
前記画像入力部、音声入力部、及び利用者入力部のそれぞれの出力である画像信号、音声信号、及び利用者信号を符号化してネットワーク接続部に入力する符号化部と、
利用者入力の有無に基づき、全ての端末で同期して各端末の利用者画像を順次強調表示していくための強調表示指示信号発生部と、前記復号部及び強調表示指示信号発生部のそれぞれの出力信号から利用者映像を再生する利用者映像再生部とを具備することを特徴とする利用者用端末装置。 - 複数の端末をネットワークで接続し、端末利用者の画像や音声を送受信しあうことにより、多地点に分散した複数の利用者によるコミュニケーションを実現する多地点テレビ会議システムに用いる利用者用端末装置であって、
前記ネットワークに接続するネットワーク接続部と、
カメラからの画像信号(画像情報)を入力する画像入力部と、
マイクからの音声信号(音声情報)を入力する音声入力部と、
利用者が情報をキーボード、マウス等により入力する利用者入力部と、
前記画像入力部、音声入力部、及び利用者入力部のそれぞれの出力である画像信号、音声信号、及び利用者信号(利用者情報)を符号化してネットワーク接続部に入力する符号化部と、
前記ネットワーク接続部から入力される信号を復号する復号部と、
前記復号部で復号された信号中の映像信号から映像を合成する画像合成部と、
前記復号信号から全端末の利用者入力の有無を判定する入力判定部と、
前記復号信号から会議出席者の発言の有無を判定する発言判定部と、
前記入力判定部で判定された利用者入力の有無、もしくは発言判定部で判定された利用者(会議出席者)の発言の有無に基づき、全ての端末で同期して各端末の利用者画像を順次強調表示していく強調表示指示信号発生部と、
前記画像合成部及び強調表示指示信号発生部のそれぞれの出力信号(情報)から利用者映像を再生する利用者映像再生部とを具備することを特徴とする利用者用端末装置。 - 複数の端末をネットワークで接続し、端末利用者の画像や音声を送受信しあうことにより、多地点に分散した複数の利用者によるコミュニケーションを実現する多地点テレビ会議システムにおいて、
各端末で自端末利用者映像を含む全ての端末利用者映像を表示する段階と、
全端末の利用者入力の有無を判定する段階と、
前記判定する段階で判定された利用者入力の有無に基づき、全ての端末で同期して各端末の利用者映像を順次強調表示していく段階とを具備することを特徴とする利用者映像提示方法。 - 全端末のキーボード、マウス等による入力を検知する段階を具備し、前記キーボード、マウス等による入力があった場合に、全ての端末で同期して各端末の利用者映像を順次強調表示していくことを特徴とする請求項4に記載の利用者映像提示方法。
- 全端末の利用者の発言を検知する段階を具備し、利用者入力として発言を用いて、あらかじめ定められた一定の時間間隔、全ての端末で利用者の発言がなかった場合、全ての端末で同期して各端末の利用者映像を順次強調表示していくことを特徴とする請求項4又は5に記載の利用者映像提示方法。
- 端末利用者映像の強調表示として、利用者映像の拡大表示を用いることを特徴とする請求項4乃至6のうちいずれか1項に記載の利用者映像提示方法。
- 各端末の利用者映像を順次強調表示していく段階として、
あらかじめ定められた規則に従って強調表示する利用者映像を選択する段階と、あらかじめ定められた一定時間の間、選択された利用者映像を強調表示する段階と、
次の利用者映像の選択の継続を判定する段階と、
を具備することを特徴とする請求項4乃至7のうちいずれか1項に記載の利用者映像提示方法。 - 各端末利用者の発言を個別に判定する段階を具備し、各端末利用者映像のリストを保持し、直前に発言した利用者の次の利用者映像を先頭として、リストの順番に従って強調表示する利用者映像を選択することを特徴とする請求項8に記載の利用者映像提示方法。
- 各端末利用者の発言の有無を個別に判定する段階を具備し、利用者の発言があった場合に、利用者映像の選択を終了することを特徴とする請求項8又は9に記載の利用者映像提示方法。
- 各端末利用者の発言の有無を個別に判定する段階を具備し、前記発言の有無を個別に判定する段階で判定された個別の発言に基づき、全ての端末で同期して発言中の利用者映像を強調表示することを特徴とする請求項4乃至10のうちいずれか1項に記載の利用者映像提示方法。
- 請求項4乃至10のうちいずれか1項に記載の利用者映像提示方法におけるステップをコンピュータに実行させるための利用者映像提示プログラム。
- 請求項4乃至10のうちいずれか1項に記載の利用者映像提示方法におけるステップをコンピュータに実行させためのプログラムとして、前記プログラムを前記コンピュータで読取り可能な記録媒体に記録したことを特徴とする利用者映像提示プログラム記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002359934A JP2004194009A (ja) | 2002-12-11 | 2002-12-11 | 利用者映像提示用サーバ装置及び利用者用端末装置並びに両者を用いた利用者映像提示方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002359934A JP2004194009A (ja) | 2002-12-11 | 2002-12-11 | 利用者映像提示用サーバ装置及び利用者用端末装置並びに両者を用いた利用者映像提示方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004194009A true JP2004194009A (ja) | 2004-07-08 |
Family
ID=32759186
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002359934A Pending JP2004194009A (ja) | 2002-12-11 | 2002-12-11 | 利用者映像提示用サーバ装置及び利用者用端末装置並びに両者を用いた利用者映像提示方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2004194009A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011061450A (ja) * | 2009-09-09 | 2011-03-24 | Nippon Telegr & Teleph Corp <Ntt> | 会議通信システム、会議通信方法及びプログラム |
JP2018041249A (ja) * | 2016-09-07 | 2018-03-15 | 株式会社ブルーエージェンシー | 面接管理プログラム、その方法及びそのシステム |
JP2021033621A (ja) * | 2019-08-23 | 2021-03-01 | 株式会社日立製作所 | 会議支援システムおよび会議支援方法 |
-
2002
- 2002-12-11 JP JP2002359934A patent/JP2004194009A/ja active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011061450A (ja) * | 2009-09-09 | 2011-03-24 | Nippon Telegr & Teleph Corp <Ntt> | 会議通信システム、会議通信方法及びプログラム |
JP2018041249A (ja) * | 2016-09-07 | 2018-03-15 | 株式会社ブルーエージェンシー | 面接管理プログラム、その方法及びそのシステム |
JP2021033621A (ja) * | 2019-08-23 | 2021-03-01 | 株式会社日立製作所 | 会議支援システムおよび会議支援方法 |
JP7347994B2 (ja) | 2019-08-23 | 2023-09-20 | 株式会社日立製作所 | 会議支援システム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4716083B2 (ja) | 情報処理装置および方法、記録媒体、並びにプログラム | |
US6466250B1 (en) | System for electronically-mediated collaboration including eye-contact collaboratory | |
US9148625B2 (en) | Transition control in a videoconference | |
JP6179834B1 (ja) | テレビ会議装置 | |
Loveridge | Networked music performance in virtual reality: current perspectives | |
WO2004010414A1 (en) | Method and apparatus for improving listener differentiation of talkers during a conference call | |
JP5211001B2 (ja) | 会議通信システム、会議通信方法及びプログラム | |
US7949116B2 (en) | Primary data stream communication | |
JP2006041886A (ja) | 情報処理装置および方法、記録媒体、並びにプログラム | |
JP2003299051A (ja) | 情報出力装置および情報出力方法 | |
JP4077656B2 (ja) | 発言者特定映像装置 | |
JPH09271006A (ja) | 多地点テレビ会議装置 | |
JP2000184345A (ja) | マルチモーダルコミュニケーション支援装置 | |
JP2010157906A (ja) | 映像表示装置 | |
JP4501037B2 (ja) | 通信制御システムと通信装置および通信方法 | |
JP2004194009A (ja) | 利用者映像提示用サーバ装置及び利用者用端末装置並びに両者を用いた利用者映像提示方法 | |
JP2000231644A (ja) | 仮想空間における発話者特定方法及びそのプログラムを記録した記録媒体 | |
WO2022215361A1 (ja) | 情報処理装置及び情報処理方法 | |
JP2011118632A (ja) | 発話の予備動作検出及び伝達方法及び装置及びプログラム | |
EP3941073A1 (en) | Information processing device and information processing system | |
CN113676693A (zh) | 画面呈现方法、视频会议系统及可读存储介质 | |
JP2000083229A (ja) | 会議システム、話者表示方法及び記録媒体 | |
JP3031320B2 (ja) | ビデオ会議装置 | |
JP2003339034A (ja) | ネットワーク会議システム、ネットワーク会議方法およびネットワーク会議プログラム | |
JP5188865B2 (ja) | テレビ会議システム、情報処理装置、情報処理方法、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050208 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070724 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070731 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20071120 |