JP2005260880A - ビデオ会議システムにおける映像表示方法及び映像表示制御方法、ビデオ会議システムに用いられる利用者端末及びサーバコンピュータ、並びにビデオ会議システムに用いられる利用者端末用プログラム及びサーバコンピュータ用プログラム - Google Patents

Abstract

【課題】 参加者が増加してもビデオ会議を円滑に進行させることができる。
【解決手段】 利用者端末３ｉがサーバコンピュータ２から各利用者の映像データおよび音声データを受信すると、音声データ（映像データ）から発言（動き）があるかを判定し、発言（動き）があるときは、小さい透過率で映像データを半透明化し、発言（動き）がないときは、大きい透過率で映像データを半透明化し、各利用者の映像画面をディスプレイ上に表示する。
【選択図】 図２

Description

本発明は、通信ネットワークを介したビデオ会議システムに関し、特にビデオ会議システムの映像表示技術に関するものである。

現在、実用化されている映像付きＷｅｂ会議システムの表示画面は、図９（ａ）に示すように、主に共有データ画面ｄ１０、参加者リスト画面ｄ２０、チャット画面ｄ３０、映像画面ｄ４０などから構成されている。これらのＷｅｂ会議システムにおいては、映像画面ｄ４０は参加者ごとに振り分けられるため、参加者が増えるに伴ってディスプレイ上の映像画面ｄ４０の占有率が増加する。その場合、Ｗｅｂ会議システムで最も重要な共有データ画面ｄ１０が小さくなり、Ｗｅｂ会議システムをスムーズに行うことはできなくなる。

これを解決する方法としては、非特許文献１に示すように、予め、共有データ画面ｄ１０を主に使用する場合は映像画面ｄ４０を背面に隠す方法（図９（ｂ）参照）や、非特許文献２および３に示すように、ディスプレイ上での表示する参加者の映像画面数を制限する方法（図９（ｃ）参照）がある。
ＮＴＴＩＴ株式会社、"ＭｅｅｔｉｎｇＰｌａｚａ電網会議室サービス"、[Online]、［平成１６年３月１日検索］、インターネット＜ＵＲＬ：http://www.meetingplaza.com/＞ WebEx Communications Inc.、"Video Conferencing,Web Conferencing&Online Meetings"、[Online]、［平成１６年３月１日検索］、インターネット＜ＵＲＬ：http://www.webex.com/＞ 日本電気株式会社、"コミュニケーションドア"、[Online]、［平成１６年３月１日検索］、インターネット＜ＵＲＬ：http://www.communicationdoor.com/＞

しかしながら、上述した映像画面ｄ４０を背面に隠す方法や、ディスプレイ上での表示する参加者の映像画面数を制限する方法においては、映像付きＷｅｂ会議システムのメリットである「相手の表情を確認しながらの会議」が実現できないという問題がある。また、発言者の映像がない場合には、参加者リスト上で明示しない限り誰が発言したかわからないので、参加者リスト画面ｄ２０も常に表示しておかなければならないという問題もある。

本発明は、上記の事情を鑑みたものであり、参加者が増加してもビデオ会議を円滑に進行させることができるビデオ会議システムにおける映像表示方法及び映像表示制御方法、ビデオ会議システムに用いられる利用者端末及びサーバコンピュータ、並びにビデオ会議システムに用いられる利用者端末用プログラム及びサーバコンピュータ用プログラムを提供することを目的とする。

上記目的を達成するため、請求項１記載の本発明は、通信ネットワークを介して複数の利用者端末が接続され、各利用者端末が取得した利用者の映像情報および音声情報を相互に送受信し、ビデオ会議を行うビデオ会議システムにおける映像表示方法であって、前記各利用者端末が、他の利用者端末それぞれから、他の利用者の映像情報および音声情報を受信し、前記利用者ごとに、受信した映像情報及び音声情報のうち少なくともいずれか一方の情報の内容に基づいて映像情報の透過率を決定し、決定した透過率で他の利用者の映像情報の透明度を変化させ、透明度を変化させた映像情報それぞれを表示することを特徴とする。

請求項２記載の本発明は、通信ネットワークを介して複数の利用者端末が接続され、各利用者端末が取得した利用者の映像情報および音声情報を相互に送受信し、ビデオ会議を行うビデオ会議システムにおける映像表示方法であって、前記各利用者端末が、前記利用者の映像情報および音声情報を取得し、取得した映像情報及び音声情報のうち少なくともいずれか一方の情報の内容に基づいて映像情報の透過率を決定し、取得した映像情報及び音声情報、並びに決定した透過率に関する情報を他の利用者端末に送信し、他の利用者端末それぞれから、他の利用者の映像情報及び音声情報、並びに決定した透過率に関する情報を受信し、前記利用者ごとに、受信した透過率に関する情報に従って他の利用者の映像情報の透明度を変化させ、透明度を変化させた映像情報それぞれを表示することを特徴とする。

請求項３記載の本発明は、通信ネットワークを介して複数の利用者端末およびサーバコンピュータが接続され、各利用者端末が取得した利用者の映像情報および音声情報を前記サーバコンピュータを介して相互に送受信し、ビデオ会議を行うビデオ会議システムにおける映像表示制御方法であって、前記サーバコンピュータが、前記複数の利用者端末それぞれから、前記利用者の映像情報および音声情報を受信し、前記利用者ごとに、受信した映像情報及び音声情報のうち少なくともいずれか一方の情報の内容に基づいて映像情報の透過率を決定し、前記利用者ごとの、受信した映像情報及び音声情報並びに決定した透過率に関する情報を前記複数の利用者端末に送信することを特徴とする。

請求項４記載の本発明は、通信ネットワークを介して複数の利用者端末が接続され、各利用者端末が取得した利用者の映像情報および音声情報を相互に送受信し、ビデオ会議を行うビデオ会議システムに用いられる前記利用者端末であって、他の利用者端末それぞれから、他の利用者の映像情報および音声情報を受信する手段と、前記利用者ごとに、受信した映像情報及び音声情報のうち少なくともいずれか一方の情報の内容に基づいて透過率を決定し、決定した透過率で他の利用者の映像情報の透明度を変化させる手段と、透明度を変化させた映像情報それぞれを表示する手段と、を有することを特徴とする。

請求項５記載の本発明は、通信ネットワークを介して複数の利用者端末が接続され、各利用者端末が取得した利用者の映像情報および音声情報を相互に送受信し、ビデオ会議を行うビデオ会議システムに用いられる前記利用者端末であって、前記利用者の映像データおよび音声データを取得する手段と、取得した映像情報及び音声情報のうち少なくともいずれか一方の情報の内容に基づいて映像情報の透過率を決定する手段と、取得した映像情報及び音声情報、並びに決定した透過率に関する情報を他の利用者端末に送信する手段と、他の利用者端末それぞれから、他の利用者の映像情報及び音声情報、並びに決定した透過率に関する情報を受信する手段と、前記利用者ごとに、受信した透過率に関する情報に従って他の利用者の映像情報の透明度を変化させる手段と、透明度を変化させた映像情報それぞれを表示する手段と、を有することを特徴とする。

請求項６記載の本発明は、通信ネットワークを介して複数の利用者端末およびサーバコンピュータが接続され、各利用者端末が取得した利用者の映像情報および音声情報を前記サーバコンピュータを介して相互に送受信し、ビデオ会議を行うビデオ会議システムに用いられる前記サーバコンピュータであって、前記複数の利用者端末それぞれから、前記利用者の映像情報および音声情報を受信する手段と、前記利用者ごとに、受信した映像情報及び音声情報のうち少なくともいずれか一方の情報の内容に基づいて映像情報の透過率を決定する手段と、前記利用者ごとの、受信した映像情報及び音声情報並びに決定した透過率に関する情報を前記複数の利用者端末に送信する手段と、を有することを特徴とする。

請求項７記載の本発明は、通信ネットワークを介して複数の利用者端末が接続され、各利用者端末が取得した利用者の映像情報および音声情報を相互に送受信し、ビデオ会議を行うビデオ会議システムに用いられる利用者端末用プログラムであって、他の利用者端末それぞれから、他の利用者の映像情報および音声情報を受信するステップと、利用者ごとに、受信した映像情報及び音声情報のうち少なくともいずれか一方の情報の内容に基づいて映像情報の透過率を決定し、決定した透過率で他の利用者の映像情報の透明度を変化させるステップと、透明度を変化させた映像情報それぞれを表示するステップと、を前記利用者端末に実行させることを特徴とする。

請求項８記載の本発明は、通信ネットワークを介して複数の利用者端末が接続され、各利用者端末が取得した利用者の映像情報および音声情報を相互に送受信し、ビデオ会議を行うビデオ会議システムに用いられる利用者端末用プログラムであって、前記利用者の映像データおよび音声データを取得するステップと、取得した映像情報及び音声情報のうち少なくともいずれか一方の情報の内容に基づいて映像情報の透過率を決定するステップと、取得した映像情報及び音声情報、並びに決定した透過率に関する情報を他の利用者端末に送信するステップと、他の利用者端末それぞれから、他の利用者の映像情報及び音声情報、並びに決定した透過率に関する情報を受信するステップと、前記利用者ごとに、受信した透過率に従って他の利用者の映像情報の透明度を変化させるステップと、透明度を変化させた映像情報それぞれを表示するステップと、を前記利用者端末に実行させることを特徴とする。

請求項９記載の本発明は、請求項７又は８記載の発明において、前記音声情報に基づいて前記透過率を決定する場合には、２つの大小の透過率の値を用意し、前記音声情報のゲイン値が予め定められた第１の閾値以上のときには、小さい値の透過率を割り当て、前記音声情報のゲイン値が予め定められた第１の閾値未満のときには、大きい値の透過率を割り当てることを特徴とする。

請求項１０記載の本発明は、請求項７又は８記載の発明において、前記映像情報に基づいて前記透過率を決定する場合には、２つの大小の透過率の値を用意し、前記映像情報の画像フレーム間の差分情報が予め定められた第２の閾値以上のときには、小さい値の透過率を割り当て、前記映像情報の画像フレーム間の差分情報が予め定められた第２の閾値未満のときには、大きい値の透過率を割り当てることを特徴とする。

請求項１１記載の本発明は、請求項７又は８記載の発明において、前記透過率は、前記音声情報のゲイン値又は前記映像情報の画像フレーム間の差分情報が大きいほど透過率の値を小さく設定することを特徴とする。

請求項１２記載の本発明は、請求項７乃至１１のいずれか１項に記載の発明において、前記決定した透過率は、利用者単位に変更可能であることを特徴とする。

請求項１３記載の本発明は、請求項７乃至１２のいずれか１項に記載の発明において、前記各利用者の映像情報および音声情報は、サーバコンピュータを介して送受信されることを特徴とする。

請求項１４記載の本発明は、通信ネットワークを介して複数の利用者端末およびサーバコンピュータが接続され、各利用者端末が取得した利用者の映像情報および音声情報を前記サーバコンピュータを介して相互に送受信し、ビデオ会議を行うビデオ会議システムに用いられるサーバコンピュータ用プログラムであって、前記複数の利用者端末それぞれから、前記利用者の映像情報および音声情報を受信するステップと、前記利用者ごとに、受信した映像情報及び音声情報のうち少なくともいずれか一方の情報の内容に基づいて透過率を決定するステップと、前記利用者ごとの、受信した映像情報及び音声情報並びに決定した透過率に関する情報を前記複数の利用者端末に送信するステップと、を前記サーバコンピュータに実行させることを特徴とする。

本発明によれば、各利用者の映像情報及び音声情報のうち少なくともいずれか一方の情報量の大小に基づいて映像情報の透過率を決定し、決定した透過率で各利用者の映像情報を半透明化して表示することができる。

この結果、発言又は動きのある利用者を視覚的に強調して示すことができるとともに、映像画面の領域がビデオ会議に必要な他の表示領域を圧迫することがないので、利用者が増加しても、ビデオ会議を円滑に進行させることができる。

以下、本発明の実施の形態を図面を用いて説明する。

＜第１の実施の形態＞
図１は、本発明の第１の実施の形態に係るビデオ会議システム１００の概略構成図である。図１に示すビデオ会議システム１００は、サーバコンピュータ２、ビデオ会議に参加する各利用者が備える利用者端末３ｉ（ｉ＝ａ，ｂ，…，ｎ）、サーバコンピュータ２と利用者端末３ｉを相互に通信可能とするインターネット網などの通信ネットワーク４を有するシステム構成となっている。

サーバコンピュータ２は、各利用者端末３ｉと通信を行う通信部２１を具備し、各利用者端末３ｉから送信された映像データおよび音声データを受信すると複製して他の利用者端末３ｉに送信するデータ中継機能を有している。

利用者端末３ｉは、カメラおよびマイクを備えて利用者を撮影し、取得した利用者の映像データおよび音声データをサーバコンピュータ２に送信するようになっている。利用者端末３ｉは、詳しくは、サーバコンピュータ２と通信を行う通信部３１、取得した利用者の映像データおよび音声データをサーバコンピュータ２に送信するように制御するとともに、サーバコンピュータ２から送信された他の利用者の映像データおよび音声データに基づいて画面に表示される映像を制御するデータ制御部３２、映像データおよび音声データ、並びにビデオ会議に必要なデータなどを入力するデータ入力部３３（具体的には、上述したカメラ、マイクの他、キーボード、マウスなどが該当する）、映像データおよび音声データ、並びにビデオ会議に必要なデータなどを出力するデータ出力部３４（具体的にはディスプレイ、スピーカなどが該当する）、及びビデオ会議に必要なデータを記憶するデータ記憶部３５を具備する構成となっている。

尚、上述したサーバコンピュータ２及び利用者端末３ｉは、少なくとも演算機能および制御機能を備えた中央演算装置（ＣＰＵ）、プログラムやデータを格納する機能を有するＲＡＭ等からなる主記憶装置（メモリ）を有する電子的な装置から構成されているものである。また、サーバコンピュータ２及び利用者端末３ｉは、主記憶装置の他、ハードディスクなどの補助記憶装置を具備していてもよい。

また、本実施の形態に係る各種処理を実行するプログラムは、前述した主記憶装置またはハードディスクに格納されているものである。そして、このプログラムは、ハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ−ＲＯＭなどのコンピュータ読み取り可能な記録媒体に記録することも、通信ネットワークを介して配信することも可能である。

次に、本実施の形態に係るビデオ会議システム１００の動作を図２を用いて説明する。ここで、図２は、サーバコンピュータ２が各利用者端末３ｉに各利用者の映像データおよび音声データを送信した後の利用者端末３ｉの動作を説明するフローチャート図である。

まず、利用者端末３ｉがサーバコンピュータ２から各利用者の映像データおよび音声データを受信する（ステップＳ１０）。尚、受信する映像データがMotionＪＰＥＧ（Joint Photographic Coding Experts Group）、ＭＰＥＧ（Moving Picture Expert Group）２、ＭＰＥＧ４等により圧縮されたデータである場合には、各デコーダを用いてデコードする。

次に、受信したデータから各利用者の行動パターンを検知する。ここでは、一具体例として各利用者の発言により検知する場合と、各利用者の動きにより検知する場合の２つについて説明する。

各利用者の発言により検知する場合には、受信した音声データのゲイン値が予め設定した閾値以上であれば、音声データの送信元ＩＰアドレスから利用者端末３ｉ（利用者）を特定し、この利用者に発言があったもの（行動パターンＡとする）と判定する（ステップＳ２０）。これに対して、受信した音声データのゲイン値が予め設定した閾値未満であれば、この利用者には発言がなかったもの（行動パターンＢとする）と判定する（ステップＳ２０）。

各利用者の動きにより検知する場合には、受信した映像データ、例えば、ＭＰＥＧ２やＭＰＥＧ４の符号化パラメータの１つである動きベクトルのスカラー量の平均が予め設定した閾値以上であれば、映像データの送信元ＩＰアドレスから利用者端末３ｉ（利用者）を特定し、この利用者に動きがあったもの（行動パターンＡとする）と判定する（ステップＳ２０）。これに対して、受信した映像データの動きベクトルのスカラー量の平均が予め設定した閾値未満であれば、この利用者には動きがなかったもの（行動パターンＢとする）と判定する（ステップＳ２０）。尚、MotionＪＰＥＧのように画像間の差分情報を求めないデータ形式の場合には、画像間で局所領域毎に動きベクトルを求め、これにより判定するものとする。

次に、上述した行動パターンに基づいて各利用者の映像データの透過率を決定し、映像画面を半透明化する。具体的には、行動パターンＡ（発言又は動きがあった）の利用者の映像データに対しては、透過率はα（例えば、α＝１０〜２０％程度；小さい透過率を設定する）、行動パターンＢの利用者の映像データに対しては、透過率はβ（例えば、β＝６０〜８０％程度；大きい透過率を設定する）として、映像画面を半透明化する（ステップＳ３０，Ｓ４０）。尚、透過率は値が大きいほど、透明度が高く、背景が透けて見えるようになっている。

次に、各利用者の半透明化された映像画面をディスプレイ上に表示する（ステップＳ５０）。図３は、発言により行動パターンを検知する場合のディスプレイ上の表示例を示すものであるが、図３（ａ）は利用者の１人に発言があった場合、図３（ｂ）は利用者全員に発言がなかった場合の映像画面ｄ４０を示している。尚、ここでは、共有データ画面ｄ１０及びチャット画面ｄ３０で画面全体を使用し、映像画面ｄ４０はこれらの画面の上に表示するものとする（参加者リスト画面ｄ２０は表示されない）。

図３（ｂ）に示すように利用者の誰からも発言がない場合には、映像画面ｄ４０の透過率は高く設定されるので、映像画面ｄ４０に邪魔されることなく、背景の共有データ画面ｄ１０及びチャット画面ｄ３０を確認することができる。一方、発言がある場合には、発言者の映像画面ｄ４０の透過率が低く設定されるので、発言者の映像画面ｄ４０を確認することができる。このように、映像画面ｄ４０を半透明化して共有データ画面ｄ１０及びチャット画面ｄ３０上に重ねて表示することにより、限定された表示領域を有効に利用することができる。

また、図４は、動きにより行動パターンを検知する場合のディスプレイ上の表示例を示すものであるが、図４（ａ）は利用者の１人に動きがあった場合、図４（ｂ）は利用者全員に動きがなかった場合の映像画面ｄ４０を示している。尚、ここでは、共有データ画面ｄ１０及びチャット画面ｄ３０で画面全体を使用し、映像画面ｄ４０はこれらの画面の上に表示するものとする（参加者リスト画面ｄ２０は表示されない）。

図４（ｂ）に示すように利用者の誰にも動きがない場合には、映像画面ｄ４０の透過率が高く設定されるので、映像画面ｄ４０に邪魔されることなく、背景の共有データ画面ｄ１０及びチャット画面ｄ３０を確認することができる。一方、動きがある場合には、動きのある映像画面ｄ４０の透過率が低く設定されるので、動いた者の映像画面ｄ４０を確認することができる。このように、映像画面ｄ４０を半透明化して共有データ画面ｄ１０及びチャット画面ｄ３０上に重ねて表示することにより、限定された表示領域を有効に利用することができる。

以上、本実施の形態に係るビデオ会議システム１００によれば、各利用者の映像データ又は音声データの情報量の大小に基づいて映像データの透過率を決定し、決定した透過率で各利用者の映像データを半透明化して表示するので、利用者が増加しても、ビデオ会議を円滑に進行させることができる。

即ち、共有データ画面などビデオ会議に必要な他の表示画面を小さくすることなく、すべての利用者の映像画面ｄ４０をディスプレイ上に表示することができる。また、利用者の行動に発言又は動きがあった場合には、発言又は動きがあった利用者の映像データに対して透過率を小さく設定するので、発言又は動きがあった利用者を視覚的に強調して示すことができる。これにより、従来のビデオ会議システムにおいては常に表示が必要であった参加者リスト画面ｄ２０を非表示にすることができる。

尚、本実施の形態においては、行動パターンを二分し、それぞれの行動パターンの透過率を決定して半透明化したが、本発明はこれに限定されるものではなく、他の透過率の決定方法、例えば、映像データの動きベクトルのスカラー量又は音声データのゲイン値を変数ｘとした単純増加関数ｆ（ｘ）（但し、ｆ（ｘ）の取りうる範囲は１０〜８０）を用いて透過率を決定し、透過率が所定の範囲内で連続的な値を取れるようにしてもよい。この場合には、状況に応じてよりきめ細やかに透過率を設定することが可能となる。

また、透過率の決定に際しては、上述したアルゴリズムに加えて、各利用者の意思を反映できるようにしてもよい。例えば、特定の利用者（例えば、ビデオ会議における中心的な人物）の映像データの透過率を行動パターンに関係なく、常に１０％となるように設定してもよいものである。

＜第２の実施の形態＞
図５は、本発明の第２の実施の形態に係るビデオ会議システム２００の概略構成図である。図５に示すビデオ会議システム２００は、サーバコンピュータ２、ビデオ会議に参加する各利用者が備える利用者端末５ｉ（ｉ＝ａ，ｂ，…，ｎ）、サーバコンピュータ２と利用者端末５ｉを相互に通信可能とするインターネット網などの通信ネットワーク４を有するシステム構成となっている。尚、本実施の形態においては、第１の実施の形態と異なる構成及び機能のみ説明し、その他の構成及び機能に関しては同一部分には同一符号を付して説明を省略する。

利用者端末５ｉは、カメラおよびマイクを備えて利用者を撮影し、取得した利用者の映像データおよび音声データをサーバコンピュータ２に送信するようになっている。利用者端末５ｉは、詳しくは、サーバコンピュータ２と通信を行う通信部３１、取得した利用者の映像データおよび音声データから透過率に関する情報（行動パターン）を決定し、サーバコンピュータ２に映像データおよび音声データ、並びに透過率に関する情報を送信するように制御するとともに、サーバコンピュータ２から送信された他の利用者の映像データおよび音声データ、並びに透過率に関する情報に従って画面に表示される映像を制御するデータ制御部５２、映像データおよび音声データ、並びにビデオ会議に必要なデータなどを入力するデータ入力部３３（具体的には、上述したカメラ、マイクの他、キーボード、マウスなどが該当する）、映像データおよび音声データ、並びにビデオ会議に必要なデータなどを出力するデータ出力部３４（具体的にはディスプレイ、スピーカなどが該当する）、及びビデオ会議に必要なデータを記憶するデータ記憶部３５を具備する構成となっている。

尚、上述した利用者端末５ｉは、少なくとも演算機能および制御機能を備えた中央演算装置（ＣＰＵ）、プログラムやデータを格納する機能を有するＲＡＭ等からなる主記憶装置（メモリ）を有する電子的な装置から構成されているものである。また、利用者端末５ｉは、主記憶装置の他、ハードディスクなどの補助記憶装置を具備していてもよい。

また、利用者端末５ｉの各種処理を実行するプログラムは、前述した主記憶装置またはハードディスクに格納されているものである。そして、このプログラムは、ハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ−ＲＯＭなどのコンピュータ読み取り可能な記録媒体に記録することも、通信ネットワークを介して配信することも可能である。

次に、本実施の形態に係るビデオ会議システム２００の動作を図６を用いて説明する。ここで、図６（ａ）は、各利用者端末５ｉが取得した利用者の映像データおよび音声データをサーバコンピュータ２に送信するまでの動作を説明するフローチャート図であり、図６（ｂ）は、サーバコンピュータ２が各利用者端末５ｉに各利用者の映像データおよび音声データを送信した後の利用者端末５ｉの動作を説明するフローチャート図である。

まず、各利用者端末５ｉが取得した利用者の映像データおよび音声データをサーバコンピュータ２に送信するまでの動作について説明する。利用者端末５ｉが利用者の映像データおよび音声データを取得すると、取得したデータから利用者の行動パターンを検知する（ステップＳ１１０）。尚、本実施の形態においても、第１の実施の形態と同様に、一具体例として利用者の発言により検知する場合と、利用者の動きにより検知する場合の２つについて説明する。

利用者の発言により検知する場合には、取得した音声データのゲイン値が予め設定した閾値以上であれば、この利用者に発言があったもの（行動パターンＡとする）と判定する（ステップＳ１２０）。これに対して、取得した音声データのゲイン値が予め設定した閾値未満であれば、この利用者には発言がなかったもの（行動パターンＢとする）と判定する（ステップＳ１２０）。

利用者の動きにより検知する場合には、取得した映像データ、例えば、ＭＰＥＧ２やＭＰＥＧ４の符号化パラメータの１つである動きベクトルのスカラー量の平均が予め設定した閾値以上であれば、この利用者に動きがあったもの（行動パターンＡとする）と判定する（ステップＳ１２０）。これに対して、取得した映像データの動きベクトルのスカラー量の平均が予め設定した閾値未満であれば、この利用者には動きがなかったもの（行動パターンＢとする）と判定する（ステップＳ１２０）。

次に、上述した行動パターンに基づいて各利用者の映像データの透過率を決定する。具体的には、行動パターンＡ（発言又は動きがあった）の利用者の映像データに対しては、透過率はα（例えば、α＝１０〜２０％程度；小さい透過率を設定する）、行動パターンＢの利用者の映像データに対しては、透過率はβ（例えば、β＝６０〜８０％程度；大きい透過率を設定する）として、決定する（ステップＳ１３０，Ｓ１４０）。

次に、利用者端末５ｉは、取得した映像データおよび音声データ、並びに決定された透過率に関する情報（行動パターン）をサーバコンピュータ２に送信する（ステップＳ１５０）。

次に、サーバコンピュータ２が各利用者端末５ｉに各利用者の映像データおよび音声データを送信した後の利用者端末３ｉの動作について説明する。まず、利用者端末５ｉがサーバコンピュータ２から各利用者の映像データおよび音声データ、並びに決定された透過率に関する情報を受信する（ステップＳ１６０）。

次に、利用者端末５ｉは、受信した各透過率に関する情報に従って、映像画面ｄ４０を半透明化し、各利用者の半透明化された映像画面ｄ４０をディスプレイ上に表示する（ステップＳ１７０，Ｓ１８０）。

従って、本実施の形態に係るビデオ会議システム２００によれば、第１の実施の形態と同じ効果を得ることができる。

尚、本実施の形態においては、行動パターンを二分し、それぞれの行動パターンの透過率を決定して半透明化したが、本発明はこれに限定されるものではなく、他の透過率の決定方法、例えば、映像データの動きベクトルのスカラー量又は音声データのゲイン値を変数ｘとした単純増加関数ｆ（ｘ）（但し、ｆ（ｘ）の取りうる範囲は１０〜８０）を用いて透過率を決定し、透過率が所定の範囲内で連続的な値を取れるようにしてもよい。この場合には、状況に応じてよりきめ細やかに透過率を設定することが可能となる。

また、透過率の決定に際しては、上述したアルゴリズムに加えて、各利用者の意思を反映できるようにしてもよい。例えば、特定の利用者（例えば、ビデオ会議における中心的な人物）の映像データの透過率を行動パターンに関係なく、常に１０％となるように設定してもよいものである。

＜第３の実施の形態＞
図７は、本発明の第３の実施の形態に係るビデオ会議システム３００の概略構成図である。図７に示すビデオ会議システム３００は、サーバコンピュータ６、ビデオ会議に参加する各利用者が備える利用者端末７ｉ（ｉ＝ａ，ｂ，…，ｎ）、サーバコンピュータ６と利用者端末７ｉを相互に通信可能とするインターネット網などの通信ネットワーク４を有するシステム構成となっている。尚、本実施の形態においては、上記実施の形態と異なる構成及び機能のみ説明し、その他の構成及び機能に関しては同一部分には同一符号を付して説明を省略する。

利用者端末７ｉは、カメラおよびマイクを備えて利用者を撮影し、取得した利用者の映像データおよび音声データをサーバコンピュータ６に送信するようになっている。利用者端末７ｉは、詳しくは、サーバコンピュータ６と通信を行う通信部３１、取得した利用者の映像データおよび音声データをサーバコンピュータ６に送信するように制御するとともに、サーバコンピュータ６から送信された他の利用者の映像データおよび音声データ、並びに透過率に関する情報（行動パターン）に従って画面に表示される映像を制御するデータ制御部７２、映像データおよび音声データ、並びにビデオ会議に必要なデータなどを入力するデータ入力部３３（具体的には、上述したカメラ、マイクの他、キーボード、マウスなどが該当する）、映像データおよび音声データ、並びにビデオ会議に必要なデータなどを出力するデータ出力部３４（具体的にはディスプレイ、スピーカなどが該当する）、及びビデオ会議に必要なデータを記憶するデータ記憶部３５を具備する構成となっている。

サーバコンピュータ６は、各利用者端末７ｉと通信を行う通信部２１、および各利用者端末７ｉから送信された映像データおよび音声データを受信すると、映像データおよび音声データから各利用者の映像画面の透過率を決定し、各利用者の映像データおよび音声データ、並びに透過率に関する情報（行動パターン）を複製して他の利用者端末７ｉに送信するデータ制御部６２を具備する構成となっている。

尚、上述したサーバコンピュータ６及び利用者端末７ｉは、少なくとも演算機能および制御機能を備えた中央演算装置（ＣＰＵ）、プログラムやデータを格納する機能を有するＲＡＭ等からなる主記憶装置（メモリ）を有する電子的な装置から構成されているものである。また、サーバコンピュータ６及び利用者端末７ｉは、主記憶装置の他、ハードディスクなどの補助記憶装置を具備していてもよい。

また、本実施の形態に係る各種処理を実行するプログラムは、前述した主記憶装置またはハードディスクに格納されているものである。そして、このプログラムは、ハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ−ＲＯＭなどのコンピュータ読み取り可能な記録媒体に記録することも、通信ネットワークを介して配信することも可能である。

次に、本実施の形態に係るビデオ会議システム３００の動作を図８を用いて説明する。ここで、図８は、サーバコンピュータ６の動作を説明するフローチャート図である。

まず、サーバコンピュータ６は、各利用者端末７ｉから各利用者の映像データおよび音声データを受信する（ステップＳ２１０）。

次に、受信したデータから各利用者の行動パターンを検知する。尚、本実施の形態においても、上記実施の形態と同様に、一具体例として利用者の発言により検知する場合と、利用者の動きにより検知する場合の２つについて説明する。

各利用者の発言により検知する場合には、受信した音声データのゲイン値が予め設定した閾値以上であれば、音声データの送信元ＩＰアドレスから利用者端末７ｉ（利用者）を特定し、この利用者に発言があったもの（行動パターンＡとする）と判定する（ステップＳ２２０）。これに対して、受信した音声データのゲイン値が予め設定した閾値未満であれば、この利用者には発言がなかったもの（行動パターンＢとする）と判定する（ステップＳ２２０）。

各利用者の動きにより検知する場合には、受信した映像データ、例えば、ＭＰＥＧ２やＭＰＥＧ４の符号化パラメータの１つである動きベクトルのスカラー量の平均が予め設定した閾値以上であれば、映像データの送信元ＩＰアドレスから利用者端末７ｉ（利用者）を特定し、この利用者に動きがあったもの（行動パターンＡとする）と判定する（ステップＳ２２０）。これに対して、受信した映像データの動きベクトルのスカラー量の平均が予め設定した閾値未満であれば、この利用者には動きがなかったもの（行動パターンＢとする）と判定する（ステップＳ２２０）。

次に、上述した行動パターンに基づいて各利用者の映像データの透過率を決定し、映像画面を半透明化する。具体的には、行動パターンＡ（発言又は動きがあった）の利用者の映像データに対しては、透過率はα（例えば、α＝１０〜２０％程度；小さい透過率を設定する）、行動パターンＢの利用者の映像データに対しては、透過率はβ（例えば、β＝６０〜８０％程度；大きい透過率を設定する）とする（ステップＳ２３０，Ｓ２４０）。

次に、各利用者の映像データ及び音声データ、並びに決定された透過率に関する情報を各利用者端末７ｉに送信する（ステップＳ２５０）。

これにより、各利用者端末７ｉは、受信した映像データ及び音声データ並びに決定された透過率に関する情報に従って、映像画面ｄ４０を半透明化し、各利用者の半透明化された映像画面ｄ４０をディスプレイ上に表示する。

従って、本実施の形態に係るビデオ会議システム３００によれば、サーバコンピュータ６が、各利用者の映像データ又は音声データの情報量の大小に基づいて映像データの透過率を決定し、各利用者端末７ｉは、この決定した透過率で各利用者の映像データを半透明化して表示するので、上記実施の形態と同じ効果を得ることができる。

尚、本実施の形態においては、行動パターンを二分し、それぞれの行動パターンの透過率を決定して半透明化したが、本発明はこれに限定されるものではなく、他の透過率の決定方法、例えば、映像データの動きベクトルのスカラー量又は音声データのゲイン値を変数ｘとした単純増加関数ｆ（ｘ）（但し、ｆ（ｘ）の取りうる範囲は１０〜８０）を用いて透過率を決定し、透過率が所定の範囲内で連続的な値を取れるようにしてもよい。この場合には、よりきめ細やかに透過率を設定することが可能となる。

また、透過率の決定に際しては、上述したサーバコンピュータ６のアルゴリズムに加えて、利用者端末７ｉにおいて各利用者の意思を反映できるようにしてもよい。例えば、特定の利用者（例えば、ビデオ会議における中心的な人物）の映像データの透過率を行動パターンに関係なく、常に１０％となるように設定してもよいものである。

以上、本発明の実施の形態について説明してきたが、本発明の要旨を逸脱しない範囲において、本発明の実施の形態に対して種々の変形や変更を施すことができる。例えば、第１及び第２の実施の形態に係るビデオ会議システムの利用者端末は、サーバコンピュータを介して映像データおよび音声データを送受信していたが、本発明はこのシステム構成に限定されるものではなく、サーバコンピュータを介さずＰ２Ｐ（Peer to Peer）のシステム構成としてもよいものである。

本発明の第１の実施の形態に係るビデオ会議システムの概略構成図である。 本発明の第１の実施の形態に係るビデオ会議システムの動作を説明するフローチャート図である。 本発明の第１の実施の形態に係るビデオ会議システムにおける映像画面の一例である。 本発明の第１の実施の形態に係るビデオ会議システムにおける映像画面の一例である。 本発明の第２の実施の形態に係るビデオ会議システムの概略構成図である。 本発明の第２の実施の形態に係るビデオ会議システムの動作を説明するフローチャート図である。 本発明の第３の実施の形態に係るビデオ会議システムの概略構成図である。 本発明の第３の実施の形態に係るビデオ会議システムの動作を説明するフローチャート図である。 従来のビデオ会議システムの表示画面を説明する図である。

符号の説明

２，６ サーバ
３ｉ，５ｉ，７ｉ 利用者端末
４ 通信ネットワーク
２１，３１ 通信部
３２，５２，６２，７２ データ制御部
３３ データ入力部
３４ データ出力部
３５ データ記憶部
１００，２００，３００ ビデオ会議システム
ｄ１０ 共有データ画面
ｄ２０ 参加者リスト画面
ｄ３０ チャット画面
ｄ４０ 映像画面

Claims (14)

1. 通信ネットワークを介して複数の利用者端末が接続され、各利用者端末が取得した利用者の映像情報および音声情報を相互に送受信し、ビデオ会議を行うビデオ会議システムにおける映像表示方法であって、
   前記各利用者端末が、
   他の利用者端末それぞれから、他の利用者の映像情報および音声情報を受信し、
   前記利用者ごとに、受信した映像情報及び音声情報のうち少なくともいずれか一方の情報の内容に基づいて映像情報の透過率を決定し、決定した透過率で他の利用者の映像情報の透明度を変化させ、
   透明度を変化させた映像情報それぞれを表示することを特徴とするビデオ会議システムにおける映像表示方法。
2. 通信ネットワークを介して複数の利用者端末が接続され、各利用者端末が取得した利用者の映像情報および音声情報を相互に送受信し、ビデオ会議を行うビデオ会議システムにおける映像表示方法であって、
   前記各利用者端末が、
   前記利用者の映像情報および音声情報を取得し、
   取得した映像情報及び音声情報のうち少なくともいずれか一方の情報の内容に基づいて映像情報の透過率を決定し、
   取得した映像情報及び音声情報、並びに決定した透過率に関する情報を他の利用者端末に送信し、
   他の利用者端末それぞれから、他の利用者の映像情報及び音声情報、並びに決定した透過率に関する情報を受信し、
   前記利用者ごとに、受信した透過率に関する情報に従って他の利用者の映像情報の透明度を変化させ、
   透明度を変化させた映像情報それぞれを表示することを特徴とするビデオ会議システムにおける映像表示方法。
3. 通信ネットワークを介して複数の利用者端末およびサーバコンピュータが接続され、各利用者端末が取得した利用者の映像情報および音声情報を前記サーバコンピュータを介して相互に送受信し、ビデオ会議を行うビデオ会議システムにおける映像表示制御方法であって、
   前記サーバコンピュータが、
   前記複数の利用者端末それぞれから、前記利用者の映像情報および音声情報を受信し、
   前記利用者ごとに、受信した映像情報及び音声情報のうち少なくともいずれか一方の情報の内容に基づいて映像情報の透過率を決定し、
   前記利用者ごとの、受信した映像情報及び音声情報並びに決定した透過率に関する情報を前記複数の利用者端末に送信することを特徴とするビデオ会議システムにおける映像表示制御方法。
4. 通信ネットワークを介して複数の利用者端末が接続され、各利用者端末が取得した利用者の映像情報および音声情報を相互に送受信し、ビデオ会議を行うビデオ会議システムに用いられる前記利用者端末であって、
   他の利用者端末それぞれから、他の利用者の映像情報および音声情報を受信する手段と、
   前記利用者ごとに、受信した映像情報及び音声情報のうち少なくともいずれか一方の情報の内容に基づいて透過率を決定し、決定した透過率で他の利用者の映像情報の透明度を変化させる手段と、
   透明度を変化させた映像情報それぞれを表示する手段と、
   を有することを特徴とするビデオ会議システムに用いられる利用者端末。
5. 通信ネットワークを介して複数の利用者端末が接続され、各利用者端末が取得した利用者の映像情報および音声情報を相互に送受信し、ビデオ会議を行うビデオ会議システムに用いられる前記利用者端末であって、
   前記利用者の映像データおよび音声データを取得する手段と、
   取得した映像情報及び音声情報のうち少なくともいずれか一方の情報の内容に基づいて映像情報の透過率を決定する手段と、
   取得した映像情報及び音声情報、並びに決定した透過率に関する情報を他の利用者端末に送信する手段と、
   他の利用者端末それぞれから、他の利用者の映像情報及び音声情報、並びに決定した透過率に関する情報を受信する手段と、
   前記利用者ごとに、受信した透過率に関する情報に従って他の利用者の映像情報の透明度を変化させる手段と、
   透明度を変化させた映像情報それぞれを表示する手段と、
   を有することを特徴とするビデオ会議システムに用いられる利用者端末。
6. 通信ネットワークを介して複数の利用者端末およびサーバコンピュータが接続され、各利用者端末が取得した利用者の映像情報および音声情報を前記サーバコンピュータを介して相互に送受信し、ビデオ会議を行うビデオ会議システムに用いられる前記サーバコンピュータであって、
   前記複数の利用者端末それぞれから、前記利用者の映像情報および音声情報を受信する手段と、
   前記利用者ごとに、受信した映像情報及び音声情報のうち少なくともいずれか一方の情報の内容に基づいて映像情報の透過率を決定する手段と、
   前記利用者ごとの、受信した映像情報及び音声情報並びに決定した透過率に関する情報を前記複数の利用者端末に送信する手段と、
   を有することを特徴とするビデオ会議システムに用いられるサーバコンピュータ。
7. 通信ネットワークを介して複数の利用者端末が接続され、各利用者端末が取得した利用者の映像情報および音声情報を相互に送受信し、ビデオ会議を行うビデオ会議システムに用いられる利用者端末用プログラムであって、
   他の利用者端末それぞれから、他の利用者の映像情報および音声情報を受信するステップと、
   利用者ごとに、受信した映像情報及び音声情報のうち少なくともいずれか一方の情報の内容に基づいて映像情報の透過率を決定し、決定した透過率で他の利用者の映像情報の透明度を変化させるステップと、
   透明度を変化させた映像情報それぞれを表示するステップと、
   を前記利用者端末に実行させることを特徴とするビデオ会議システムに用いられる利用者端末用プログラム。
8. 通信ネットワークを介して複数の利用者端末が接続され、各利用者端末が取得した利用者の映像情報および音声情報を相互に送受信し、ビデオ会議を行うビデオ会議システムに用いられる利用者端末用プログラムであって、
   前記利用者の映像データおよび音声データを取得するステップと、
   取得した映像情報及び音声情報のうち少なくともいずれか一方の情報の内容に基づいて映像情報の透過率を決定するステップと、
   取得した映像情報及び音声情報、並びに決定した透過率に関する情報を他の利用者端末に送信するステップと、
   他の利用者端末それぞれから、他の利用者の映像情報及び音声情報、並びに決定した透過率に関する情報を受信するステップと、
   前記利用者ごとに、受信した透過率に従って他の利用者の映像情報の透明度を変化させるステップと、
   透明度を変化させた映像情報それぞれを表示するステップと、
   を前記利用者端末に実行させることを特徴とするビデオ会議システムに用いられる利用者端末用プログラム。
9. 前記音声情報に基づいて前記透過率を決定する場合には、２つの大小の透過率の値を用意し、前記音声情報のゲイン値が予め定められた第１の閾値以上のときには、小さい値の透過率を割り当て、前記音声情報のゲイン値が予め定められた第１の閾値未満のときには、大きい値の透過率を割り当てることを特徴とする請求項７又は８記載のビデオ会議システムに用いられる利用者端末用プログラム。
10. 前記映像情報に基づいて前記透過率を決定する場合には、２つの大小の透過率の値を用意し、前記映像情報の画像フレーム間の差分情報が予め定められた第２の閾値以上のときには、小さい値の透過率を割り当て、前記映像情報の画像フレーム間の差分情報が予め定められた第２の閾値未満のときには、大きい値の透過率を割り当てることを特徴とする請求項７又は８記載のビデオ会議システムに用いられる利用者端末用プログラム。
11. 前記透過率は、前記音声情報のゲイン値又は前記映像情報の画像フレーム間の差分情報が大きいほど透過率の値を小さく設定することを特徴とする請求項７又は８記載のビデオ会議システムに用いられる利用者端末用プログラム。
12. 前記決定した透過率は、利用者単位に変更可能であることを特徴とする請求項７乃至１１のいずれか１項に記載のビデオ会議システムに用いられる利用者端末用プログラム。
13. 前記各利用者の映像情報および音声情報は、サーバコンピュータを介して送受信されることを特徴とする請求項７乃至１２のいずれか１項に記載のビデオ会議システムに用いられる利用者端末用プログラム。
14. 通信ネットワークを介して複数の利用者端末およびサーバコンピュータが接続され、各利用者端末が取得した利用者の映像情報および音声情報を前記サーバコンピュータを介して相互に送受信し、ビデオ会議を行うビデオ会議システムに用いられるサーバコンピュータ用プログラムであって、
    前記複数の利用者端末それぞれから、前記利用者の映像情報および音声情報を受信するステップと、
    前記利用者ごとに、受信した映像情報及び音声情報のうち少なくともいずれか一方の情報の内容に基づいて透過率を決定するステップと、
    前記利用者ごとの、受信した映像情報及び音声情報並びに決定した透過率に関する情報を前記複数の利用者端末に送信するステップと、
    を前記サーバコンピュータに実行させることを特徴とするビデオ会議システムに用いられるサーバコンピュータ用プログラム。
    
    

Images