JP2005303736A - ビデオ会議システムにおける映像表示方法、ビデオ会議システムに用いられる利用者端末、及びビデオ会議システムに用いられる利用者端末用プログラム - Google Patents

Abstract

【課題】 参加者が増加してもビデオ会議を円滑に進行させることができる。
【解決手段】 利用者端末３ｉが利用者の映像データおよび音声データを取得すると、音声データ（映像データ）から発言（動き）があるかを判定し、発言（動き）があるときは、映像データのビットレートを高く、画像サイズを大きく符号化パラメータを設定し、発言（動き）がないときは、映像データのビットレートを低く、画像サイズを小さく符号化パラメータを設定して、サーバコンピュータ２に送信するとともに、サーバコンピュータ２から各利用者の符号化データを受信してディスプレイ上に表示する。
【選択図】 図２

Description

本発明は、通信ネットワークを介したビデオ会議システムに関し、特にビデオ会議システムの映像表示技術に関するものである。

現在、実用化されている映像付きＷｅｂ会議システムの表示画面は、図７（ａ）に示すように、主に共有データ画面ｄ１０、参加者リスト画面ｄ２０、チャット画面ｄ３０、映像画面ｄ４０などから構成されている。これらのＷｅｂ会議システムにおいては、映像画面ｄ４０は参加者ごとに振り分けられるため、参加者が増えるに伴ってディスプレイ上の映像画面ｄ４０の占有率が増加する。その場合、Ｗｅｂ会議システムで最も重要な共有データ画面ｄ１０が小さくなり、Ｗｅｂ会議システムをスムーズに行うことはできなくなる。

これを解決する方法としては、非特許文献１に示すように、予め、共有データ画面ｄ１０を主に使用する場合は映像画面ｄ４０を背面に隠す方法（図７（ｂ）参照）や、非特許文献２および３に示すように、ディスプレイ上での表示する参加者の映像画面数を制限する方法（図７（ｃ）参照）がある。
ＮＴＴＩＴ株式会社、"ＭｅｅｔｉｎｇＰｌａｚａ電網会議室サービス"、[Online]、［平成１６年３月１日検索］、インターネット＜ＵＲＬ： http://www.meetingplaza.com/＞ WebEx Communications Inc.、"Video Conferencing,Web Conferencing&Online Meetings"、[Online]、［平成１６年３月１日検索］、インターネット＜ＵＲＬ： http://www.webex.com/＞ 日本電気株式会社、"コミュニケーションドア"、[Online]、［平成１６年３月１日検索］、インターネット＜ＵＲＬ： http://www.communicationdoor.com/＞

しかしながら、上述した映像画面ｄ４０を背面に隠す方法や、ディスプレイ上での表示する参加者の映像画面数を制限する方法においては、映像付きＷｅｂ会議システムのメリットである「相手の表情を確認しながらの会議」が実現できないという問題がある。また、発言者の映像がない場合には、参加者リスト上で明示しない限り誰が発言したかわからないので、参加者リスト画面ｄ２０も常に表示しておかなければならないという問題もある。

本発明は、上記の事情を鑑みてなされたものであり、参加者が増加してもビデオ会議を円滑に進行させることができるビデオ会議システムにおける映像表示方法、ビデオ会議システムに用いられる利用者端末、及びビデオ会議システムに用いられる利用者端末用プログラムを提供することを目的とする。

上記目的を達成するため、請求項１記載の本発明は、通信ネットワークを介して複数の利用者端末が接続され、各利用者端末が取得した利用者の映像情報および音声情報を相互に送受信し、ビデオ会議を行うビデオ会議システムにおける映像表示方法であって、前記各利用者端末が、前記利用者の映像情報および音声情報を取得し、取得した映像情報及び音声情報のうち少なくともいずれか一方の情報の内容に基づいて前記利用者の行動パターンを判断し、該行動パターンに応じて符号化パラメータを決定し、決定された符号化パラメータに従って符号化された映像情報及び音声情報を他の利用者端末に送信し、他の利用者端末それぞれから、他の利用者の符号化された映像情報及び音声情報を受信し、各利用者ごとの符号化された映像情報を表示することを特徴とする。

請求項２記載の本発明は、通信ネットワークを介して複数の利用者端末が接続され、各利用者端末が取得した利用者の映像情報および音声情報を相互に送受信し、ビデオ会議を行うビデオ会議システムにおける映像表示方法であって、前記各利用者端末が、他の利用者端末それぞれから、他の利用者の映像情報および音声情報を受信し、各利用者ごとに、受信した映像情報及び音声情報のうち少なくともいずれか一方の情報の内容に基づいて利用者の行動パターンを判断し、該行動パターンに応じて符号化パラメータを決定し、各利用者ごとに、決定された符号化パラメータに従って符号化された映像情報を表示することを特徴とする。

請求項３記載の本発明は、通信ネットワークを介して複数の利用者端末が接続され、各利用者端末が取得した利用者の映像情報および音声情報を相互に送受信し、ビデオ会議を行うビデオ会議システムに用いられる前記利用者端末であって、前記利用者の映像情報および音声情報を取得する手段と、取得した映像情報及び音声情報のうち少なくともいずれか一方の情報の内容に基づいて前記利用者の行動パターンを判断し、該行動パターンに応じて符号化パラメータを決定する手段と、決定された符号化パラメータに従って符号化された映像情報及び音声情報を他の利用者端末に送信する手段と、他の利用者端末それぞれから、他の利用者の符号化された映像情報及び音声情報を受信する手段と、各利用者ごとの符号化された映像情報を表示する手段と、を有することを特徴とする。

請求項４記載の本発明は、通信ネットワークを介して複数の利用者端末が接続され、各利用者端末が取得した利用者の映像情報および音声情報を相互に送受信し、ビデオ会議を行うビデオ会議システムに用いられる前記利用者端末であって、他の利用者端末それぞれから、他の利用者の映像情報および音声情報を受信する手段と、各利用者ごとに、受信した映像情報及び音声情報のうち少なくともいずれか一方の情報の内容に基づいて利用者の行動パターンを判断し、該行動パターンに応じて符号化パラメータを決定する手段と、各利用者ごとに、決定された符号化パラメータに従って符号化された映像情報を表示する手段と、を有することを特徴とする。

請求項５記載の本発明は、通信ネットワークを介して複数の利用者端末が接続され、各利用者端末が取得した利用者の映像情報および音声情報を相互に送受信し、ビデオ会議を行うビデオ会議システムに用いられる利用者端末用プログラムであって、前記利用者の映像情報および音声情報を取得するステップと、取得した映像情報及び音声情報のうち少なくともいずれか一方の情報の内容に基づいて前記利用者の行動パターンを判断し、該行動パターンに応じて符号化パラメータを決定するステップと、決定された符号化パラメータに従って符号化された映像情報及び音声情報を他の利用者端末に送信するステップと、他の利用者端末それぞれから、他の利用者の符号化された映像情報及び音声情報を受信するステップと、各利用者ごとの符号化された映像情報を表示するステップと、を前記利用者端末に実行させることを特徴とする。

請求項６記載の本発明は、通信ネットワークを介して複数の利用者端末が接続され、各利用者端末が取得した利用者の映像情報および音声情報を相互に送受信し、ビデオ会議を行うビデオ会議システムに用いられる利用者端末用プログラムであって、他の利用者端末それぞれから、他の利用者の映像情報および音声情報を受信するステップと、各利用者ごとに、受信した映像情報及び音声情報のうち少なくともいずれか一方の情報の内容に基づいて利用者の行動パターンを判断し、該行動パターンに応じて符号化パラメータを決定するステップと、各利用者ごとに、決定された符号化パラメータに従って符号化された映像情報を表示するステップと、を前記利用者端末に実行させることを特徴とする。

請求項７記載の本発明は、請求項５記載の発明において、前記符号化パラメータは、ビットレート及び画像サイズのうち少なくともいずれか一方であることを特徴とする。

請求項８記載の本発明は、請求項６記載の発明において、前記符号化パラメータは、フレームレート及び画像サイズのうち少なくともいずれか一方であることを特徴とする。

請求項９記載の本発明は、請求項５乃至８のいずれか１項に記載の発明において、前記音声情報の内容に基づいて符号化パラメータを決定する場合には、２つの画質高低の符号化パラメータの値を用意し、前記音声情報のゲイン値が予め定められた第１の閾値以上のときには、画質が高い値の符号化パラメータを割り当て、前記音声情報のゲイン値が予め定められた第１の閾値未満のときには、画質が低い値の符号化パラメータを割り当てることを特徴とする。

請求項１０記載の本発明は、請求項５乃至８のいずれか１項に記載の発明において、前記映像情報の内容に基づいて符号化パラメータを決定する場合には、２つの画質高低の符号化パラメータの値を用意し、前記映像情報の画像フレーム間の差分情報が予め定められた第２の閾値以上のときには、画質の高い値の符号化パラメータを割り当て、前記映像情報の画像フレーム間の差分情報が予め定められた第２の閾値未満のときには、画質の低い値の符号化パラメータを割り当てることを特徴とする。

請求項１１記載の本発明は、請求項５乃至８のいずれか１項に記載の発明において、前記符号化パラメータは、前記音声情報のゲイン値又は前記映像情報の画像フレーム間の差分情報が大きいほど画質が高くなるようなパラメータ値を割り当てられることを特徴とする。

請求項１２記載の本発明は、請求項５乃至１１のいずれか１項に記載の発明において、前記決定した符号化パラメータは、利用者単位に変更可能であることを特徴とする。

請求項１３記載の本発明は、請求項５乃至１２のいずれか１項に記載の発明において、前記映像情報の符号化パラメータを決定するステップは、前記行動パターンに応じて映像情報の透過率を決定することを特徴とする。

請求項１４記載の本発明は、請求項５乃至１３のいずれか１項に記載の発明において、前記各利用者の映像情報および音声情報は、サーバコンピュータを介して送受信されることを特徴とする。

本発明によれば、各利用者の映像情報及び音声情報のうち少なくともいずれか一方の情報の内容に基づいて各利用者の行動パターンを判断し、該行動パターンに応じて映像情報の符号化パラメータを決定し、決定した符号化パラメータで各利用者の映像情報を表示することができる。

この結果、発言又は動きのある利用者を視覚的に強調して示すことができるとともに、映像画面の領域がビデオ会議に必要な他の表示領域を圧迫することがないので、利用者が増加しても、ビデオ会議を円滑に進行させることができる。

以下、本発明の実施の形態を図面を用いて説明する。

＜第１の実施の形態＞
図１は、本発明の第１の実施の形態に係るビデオ会議システム１００の概略構成図である。図１に示すビデオ会議システム１００は、サーバコンピュータ２、ビデオ会議に参加する各利用者が備える利用者端末３ｉ（ｉ＝ａ，ｂ，…，ｎ）、サーバコンピュータ２と利用者端末３ｉを相互に通信可能とするインターネット網などの通信ネットワーク４を有するシステム構成となっている。

サーバコンピュータ２は、各利用者端末３ｉと通信を行う通信部２１を具備し、各利用者端末３ｉから送信された映像データおよび音声データを受信すると複製して他の利用者端末３ｉに送信するデータ中継機能を有している。

利用者端末３ｉは、カメラおよびマイクを備えて利用者を撮影し、取得した利用者の映像データおよび音声データをサーバコンピュータ２に送信するようになっている。利用者端末３ｉは、詳しくは、サーバコンピュータ２と通信を行う通信部３１、取得した利用者の映像データおよび音声データの内容から行動パターンを決定し、決定された行動パターンに応じたパラメータで符号化された映像データおよび音声データをサーバコンピュータ２に送信するように制御するとともに、サーバコンピュータ２から送信された他の利用者の符号化された映像データおよび音声データを出力するように制御するデータ制御部３２、映像データおよび音声データ、並びにビデオ会議に必要なデータなどを入力するデータ入力部３３（具体的には、上述したカメラ、マイクの他、キーボード、マウスなどが該当する）、映像データおよび音声データ、並びにビデオ会議に必要なデータなどを出力するデータ出力部３４（具体的にはディスプレイ、スピーカなどが該当する）、及びビデオ会議に必要なデータを記憶するデータ記憶部３５を具備する構成となっている。

尚、上述したサーバコンピュータ２及び利用者端末３ｉは、少なくとも演算機能および制御機能を備えた中央演算装置（ＣＰＵ）、プログラムやデータを格納する機能を有するＲＡＭ等からなる主記憶装置（メモリ）を有する電子的な装置から構成されているものである。また、サーバコンピュータ２及び利用者端末３ｉは、主記憶装置の他、ハードディスクなどの補助記憶装置を具備していてもよい。

また、本実施の形態に係る各種処理を実行するプログラムは、前述した主記憶装置またはハードディスクに格納されているものである。そして、このプログラムは、ハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ−ＲＯＭなどのコンピュータ読み取り可能な記録媒体に記録することも、通信ネットワークを介して配信することも可能である。

次に、本実施の形態に係るビデオ会議システム１００の動作を図２を用いて説明する。ここで、図２（ａ）は、各利用者端末３ｉが取得した利用者の映像データおよび音声データをサーバコンピュータ２に送信するまでの動作を説明するフローチャート図であり、図２（ｂ）は、サーバコンピュータ２が各利用者端末３ｉに各利用者の映像データおよび音声データを送信した後の利用者端末３ｉの動作を説明するフローチャート図である。

始めに、各利用者端末３ｉが取得した利用者の映像データおよび音声データをサーバコンピュータ２に送信するまでの動作について説明する。まず、利用者端末３ｉが利用者の映像データおよび音声データを取得する（ステップＳ１０）。尚、利用者端末３ｉに取得される映像データは、カメラからの非圧縮の映像であり、例えば、画像サイズをＣＩＦサイズ（Common Intermediate Format；352×288pixel）とする。

次に、取得したデータから各利用者の行動パターンを検知する。ここでは、一具体例として各利用者の発言により検知する場合と、各利用者の動きにより検知する場合の２つについて説明する。

利用者の発言により検知する場合には、取得した音声データのゲイン値が予め設定した閾値以上であれば、この利用者に発言があったもの（行動パターンＡとする）と判定する（ステップＳ２０）。これに対して、取得した音声データのゲイン値が予め設定した閾値未満であれば、この利用者には発言がなかったもの（行動パターンＢとする）と判定する（ステップＳ２０）。

利用者の動きにより検知する場合には、取得した映像データの連続するフレーム間で局所領域ごとに動きベクトルを求め、その動きベクトルのスカラー量の平均が予め設定した閾値以上であれば、この利用者に動きがあったもの（行動パターンＡとする）と判定する（ステップＳ２０）。これに対して、取得した映像データの動きベクトルのスカラー量の平均が予め設定した閾値未満であれば、この利用者には動きがなかったもの（行動パターンＢとする）と判定する（ステップＳ２０）。

次に、上述した行動パターンに基づいて利用者の映像データ及び音声データの符号化パラメータを決定する。尚、本実施の形態においては、一例として、ＭＰＥＧ（Moving Picture Expert Group）４コーデックを用いることとする。具体的には、行動パターンＡ（発言又は動きがあった）の利用者の映像データに対しては、例えば、ＣＩＦサイズの画像を３８４ｋｂｐｓのビットレートで符号化する（これをパラメータαとする）（ステップＳ３０）。一方、行動パターンＢの利用者の映像データに対しては、ＣＩＦサイズの画像を縮小して、例えば、ＳＱＣＩＦ（Sub Quarter Common Intermediate Format；128×96pixel）サイズに変換した後、４８ｋｂｐｓのビットレートで符号化する（これをパラメータβとする）（ステップＳ４０）。

次に、利用者端末３ｉは、決定されたパラメータで符号化された映像データおよび音声データ（以下、符号化データという。尚、決定された符号化パラメータ値は符号化データのヘッダ情報に記憶されている）をサーバコンピュータ２に送信する（ステップＳ５０）。

次に、サーバコンピュータ２が各利用者端末３ｉに各利用者の符号化データを送信した後の利用者端末３ｉの動作について説明する。まず、利用者端末３ｉがサーバコンピュータ２から各利用者の符号化データを受信する（ステップＳ６０）。

次に、利用者端末３ｉは、各利用者の映像データを符号化パラメータに従ってデコードし、映像画面ｄ４０をディスプレイ上にそれぞれ表示する（ステップＳ７０）。図３は、発言により行動パターンを検知する場合のディスプレイ上の表示例を示すものであるが、図３（ａ）は利用者の１人に発言があった場合、図３（ｂ）は利用者全員に発言がなかった場合の映像画面ｄ４０を示している。尚、ここでは、共有データ画面ｄ１０及びチャット画面ｄ３０で画面全体を使用し、映像画面ｄ４０はこれら画面の上に表示するものとする（参加者リスト画面ｄ２０は表示されない）。

図３（ｂ）に示すように利用者の誰からも発言がない場合には、映像画面ｄ４０のビットレート及び画像サイズは小さく設定されるので、細部は確認できないが参加者の特定は可能であるとともに、映像画面ｄ４０に邪魔されることなく背景の共有データ画面ｄ１０及びチャット画面ｄ３０を確認することができる。一方、発言がある場合には、発言者の映像画面ｄ４０のビットレート及び画像サイズは大きく設定されるので、発言者の映像画面ｄ４０が大きく表示されるとともに、細部まで明確に確認することができる。このように、各映像画面ｄ４０のビットレート及び画像サイズを変更して共有データ画面ｄ１０及びチャット画面ｄ３０上に重ねて表示することにより、限定された表示領域を有効に利用することができる。

また、図４は、動きにより行動パターンを検知する場合のディスプレイ上の表示例を示すものであるが、図４（ａ）は利用者の１人に動きがあった場合、図４（ｂ）は利用者全員に動きがなかった場合の映像画面ｄ４０を示している。尚、ここでは、共有データ画面ｄ１０及びチャット画面ｄ３０で画面全体を使用し、映像画面ｄ４０はこれら画面の上に表示するものとする（参加者リスト画面ｄ２０は表示されない）。

図４（ｂ）に示すように利用者の誰にも動きがない場合には、映像画面ｄ４０のビットレート及び画像サイズは小さく設定されるので、細部は確認できないが参加者の特定は可能であるとともに、映像画面ｄ４０に邪魔されることなく背景の共有データ画面ｄ１０及びチャット画面ｄ３０を確認することができる。一方、動きがある場合には、動きのある映像画面ｄ４０のビットレート及び画像サイズは大きく設定されるので、動いた者の映像画面ｄ４０が大きく表示されるとともに、細部まで明確に確認することができる。このように、各映像画面ｄ４０のビットレート及び画像サイズを変更して共有データ画面ｄ１０及びチャット画面ｄ３０上に重ねて表示することにより、限定された表示領域を有効に利用することができる。

以上、本実施の形態に係るビデオ会議システム１００によれば、各利用者の映像データ又は音声データの情報の内容に基づいて、各利用者の行動パターンを判断し、該行動パターンに応じて符号化パラメータを決定し、決定した符号化パラメータで各利用者の映像データを表示するので、利用者が増加しても、ビデオ会議を円滑に進行させることができる。

即ち、共有データ画面などビデオ会議に必要な他の表示画面を小さくすることなく、すべての利用者の映像画面ｄ４０をディスプレイ上に表示することができる。また、発言又は動きがあった利用者に対しては、ビットレートを高くして、画像サイズを大きくするように符号化パラメータを設定するので、発言又は動きがあった利用者を視覚的に強調して示すことができる。これにより、従来のビデオ会議システムにおいては常に表示が必要であった参加者リスト画面ｄ２０を非表示にすることができる。

また、本実施の形態においては、サーバコンピュータ２に映像データ及び音声データを送信する前に、利用者端末３ｉが、利用者の行動パターンを判断し、発言や動きがない場合には低いビットレート及び小さい画像サイズで符号化し、情報量を減らして送信するので、利用者が増加しても、利用者数に比例したネットワーク帯域は必要でなく、通信ネットワーク４上のトラフィックを減らすことができる。

尚、本実施の形態においては、行動パターンを二分し、それぞれの行動パターンに対して符号化パラメータを決定したが、本発明はこれに限定されるものではなく、さらに行動パターンを細分化して、それぞれの符号化パラメータを決定してもよい。

また、符号化パラメータの決定に際しては、上述したアルゴリズムに加えて、各利用者の意思を反映できるようにしてもよい。例えば、特定の利用者（例えば、ビデオ会議における中心的な人物）の符号化パラメータを行動パターンに関係なく、常に一定となるように設定してもよいものである（例えば、大きい画像サイズに符号化パラメータを設定）。

また、本実施の形態においては、ビットレート及び画像サイズ（解像度）の双方を符号化パラメータとして設定していたが、該符号化パラメータのうち、いずれか一方だけを設定するようにしてもよいものである。

さらに、上述した符号化パラメータに加えて、映像データの透過率に関するパラメータ値を設定してもよい。例えば、行動パターンＡ（発言又は動きがあった）の利用者の映像データに対しては、透過率はａ（例えば、ａ＝１０〜２０％程度；小さい透過率を設定する）、行動パターンＢの利用者の映像データに対しては、透過率はｂ（例えば、ｂ＝６０〜８０％程度；大きい透過率を設定する）として、映像画面を半透明化してもよいものである。尚、透過率は値が大きいほど、透明度が高く、背景が透けて見えるようになっている。これにより、利用者端末３ｉにおいては、発言又は動きがあった利用者をより視覚的に強調して示すことができる。

＜第２の実施の形態＞
図５は、本発明の第２の実施の形態に係るビデオ会議システム２００の概略構成図である。図５に示すビデオ会議システム２００は、サーバコンピュータ２、ビデオ会議に参加する各利用者が備える利用者端末５ｉ（ｉ＝ａ，ｂ，…，ｎ）、サーバコンピュータ２と利用者端末５ｉを相互に通信可能とするインターネット網などの通信ネットワーク４を有するシステム構成となっている。尚、本実施の形態においては、第１の実施の形態と異なる構成及び機能のみ説明し、その他の構成及び機能に関しては同一部分には同一符号を付して説明を省略する。

利用者端末５ｉは、カメラおよびマイクを備えて利用者を撮影し、取得した利用者の映像データおよび音声データをサーバコンピュータ２に送信するようになっている。利用者端末５ｉは、詳しくは、サーバコンピュータ２と通信を行う通信部３１、取得した利用者の映像データおよび音声データをサーバコンピュータ２に送信するとともに、サーバコンピュータ２から送信された他の利用者の映像データおよび音声データの内容から各利用者の行動パターンを決定し、決定された行動パターンに応じたパラメータで符号化された映像データを画面に表示するように制御するデータ制御部５２、映像データおよび音声データ、並びにビデオ会議に必要なデータなどを入力するデータ入力部３３（具体的には、上述したカメラ、マイクの他、キーボード、マウスなどが該当する）、映像データおよび音声データ、並びにビデオ会議に必要なデータなどを出力するデータ出力部３４（具体的にはディスプレイ、スピーカなどが該当する）、及びビデオ会議に必要なデータを記憶するデータ記憶部３５を具備する構成となっている。

尚、上述した利用者端末５ｉは、少なくとも演算機能および制御機能を備えた中央演算装置（ＣＰＵ）、プログラムやデータを格納する機能を有するＲＡＭ等からなる主記憶装置（メモリ）を有する電子的な装置から構成されているものである。また、利用者端末５ｉは、主記憶装置の他、ハードディスクなどの補助記憶装置を具備していてもよい。

また、利用者端末５ｉの各種処理を実行するプログラムは、前述した主記憶装置またはハードディスクに格納されているものである。そして、このプログラムは、ハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ−ＲＯＭなどのコンピュータ読み取り可能な記録媒体に記録することも、通信ネットワークを介して配信することも可能である。

次に、本実施の形態に係るビデオ会議システム２００の動作を図６を用いて説明する。ここで、図６は、サーバコンピュータ２が各利用者端末５ｉに各利用者の映像データおよび音声データを送信した後の利用者端末５ｉの動作を説明するフローチャート図である。

まず、利用者端末５ｉがサーバコンピュータ２から各利用者の映像データおよび音声データを受信する（ステップＳ１１０）。尚、受信する映像データがMotionＪＰＥＧ（Joint Photographic Coding Experts Group）、ＭＰＥＧ２、ＭＰＥＧ４等により圧縮されたデータである場合には、各デコーダを用いてデコードする。また、受信したデータは、例えば、画像サイズがＣＩＦサイズ、フレームレートは１５ｆｐｓであるとする。

次に、受信したデータから各利用者の行動パターンを検知する。尚、本実施の形態においても、第１の実施の形態と同様に、一具体例として利用者の発言により検知する場合と、利用者の動きにより検知する場合の２つについて説明する。

各利用者の発言により検知する場合には、受信した音声データのゲイン値が予め設定した閾値以上であれば、音声データの送信元ＩＰアドレスから利用者端末５ｉ（利用者）を特定し、この利用者に発言があったもの（行動パターンＡとする）と判定する（ステップＳ１２０）。これに対して、受信した音声データのゲイン値が予め設定した閾値未満であれば、この利用者には発言がなかったもの（行動パターンＢとする）と判定する（ステップＳ１２０）。

各利用者の動きにより検知する場合には、受信した映像データ、例えば、ＭＰＥＧ２やＭＰＥＧ４の符号化パラメータの１つである動きベクトルのスカラー量の平均が予め設定した閾値以上であれば、映像データの送信元ＩＰアドレスから利用者端末５ｉ（利用者）を特定し、この利用者に動きがあったもの（行動パターンＡとする）と判定する（ステップＳ１２０）。これに対して、受信した映像データの動きベクトルのスカラー量の平均が予め設定した閾値未満であれば、この利用者には動きがなかったもの（行動パターンＢとする）と判定する（ステップＳ１２０）。尚、MotionＪＰＥＧのように画像間の差分情報を求めないデータ形式の場合には、画像間で局所領域毎に動きベクトルを求め、これにより判定するものとする。

次に、上述した行動パターンに基づいて各利用者の映像データ及び音声データの符号化パラメータを変更する。具体的には、行動パターンに応じてフレームレート及び画像サイズを変更するものであるが、例えば、行動パターンＡ（発言又は動きがあった）の利用者の映像データに対しては、何も変更を加えないが、行動パターンＢの利用者の映像データに対しては、画像の縮小処理によりＳＱＣＩＦサイズに変換し、また、間引き処理によりフレームレートを１fpsとする（ステップＳ１３０）。

次に、符号化パラメータに従って各利用者の映像画面ｄ４０をディスプレイ上にそれぞれ表示する（ステップＳ１４０）。

以上、本実施の形態に係るビデオ会議システム２００によれば、利用者端末５ｉがサーバコンピュータ２から各利用者の映像データ及び音声データを受信した後、各利用者の映像データ又は音声データの情報の内容に基づいて、各利用者の行動パターンを判断し、該行動パターンに応じて符号化パラメータを決定し、決定した符号化パラメータで各利用者の映像データを表示するので、利用者が増加しても、ビデオ会議を円滑に進行させることができる。

即ち、共有データ画面などビデオ会議に必要な他の表示画面を小さくすることなく、すべての利用者の映像画面ｄ４０をディスプレイ上に表示することができる。また、発言又は動きがあった利用者に対しては、フレームレートを高くして、画像サイズを大きくするように符号化パラメータを設定するので、発言又は動きがあった利用者を視覚的に強調して示すことができる。これにより、従来のビデオ会議システムにおいては常に表示が必要であった参加者リスト画面ｄ２０を非表示にすることができる。

尚、本実施の形態においては、行動パターンを二分し、それぞれの行動パターンに対して符号化パラメータを決定したが、本発明はこれに限定されるものではなく、さらに行動パターンを細分化して、それぞれの符号化パラメータを決定してもよい。

また、符号化パラメータの決定に際しては、上述したアルゴリズムに加えて、各利用者の意思を反映できるようにしてもよい。例えば、特定の利用者（例えば、ビデオ会議における中心的な人物）の映像データの符号化パラメータを行動パターンに関係なく、常に一定となるように設定してもよいものである（例えば、高いフレームレート、大きい画像サイズに符号化パラメータを設定）。

また、本実施の形態においては、フレームレート及び画像サイズ（解像度）の双方を符号化パラメータとして設定していたが、該符号化パラメータのうち、いずれか一方だけを設定するようにしてもよいものである。

さらに、上述した符号化パラメータに加えて、映像データの透過率に関するパラメータ値を設定してもよい。例えば、行動パターンＡ（発言又は動きがあった）の利用者の映像データに対しては、透過率はａ（例えば、ａ＝１０〜２０％程度；小さい透過率を設定する）、行動パターンＢの利用者の映像データに対しては、透過率はｂ（例えば、ｂ＝６０〜８０％程度；大きい透過率を設定する）として、映像画面を半透明化してもよいものである。尚、透過率は値が大きいほど、透明度が高く、背景が透けて見えるようになっている。これにより、利用者端末５ｉにおいては、発言又は動きがあった利用者をより視覚的に強調して示すことができる。

以上、本発明の実施の形態について説明してきたが、本発明の要旨を逸脱しない範囲において、本発明の実施の形態に対して種々の変形や変更を施すことができる。例えば、第１及び第２の実施の形態に係るビデオ会議システムの利用者端末は、サーバコンピュータを介して映像データおよび音声データを送受信していたが、本発明はこのシステム構成に限定されるものではなく、サーバコンピュータを介さずＰ２Ｐ（Peer to Peer）のシステム構成としてもよいものである。

本発明の第１の実施の形態に係るビデオ会議システムの概略構成図である。 本発明の第１の実施の形態に係るビデオ会議システムの動作を説明するフローチャート図である。 本発明の第１の実施の形態に係るビデオ会議システムにおける映像画面の一例である。 本発明の第１の実施の形態に係るビデオ会議システムにおける映像画面の一例である。 本発明の第２の実施の形態に係るビデオ会議システムの概略構成図である。 本発明の第２の実施の形態に係るビデオ会議システムの動作を説明するフローチャート図である。 従来のビデオ会議システムの表示画面を説明する図である。

符号の説明

２ サーバ
３ｉ，５ｉ 利用者端末
４ 通信ネットワーク
２１，３１ 通信部
３２，５２ データ制御部
３３ データ入力部
３４ データ出力部
３５ データ記憶部
１００，２００ ビデオ会議システム
ｄ１０ 共有データ画面
ｄ２０ 参加者リスト画面
ｄ３０ チャット画面
ｄ４０ 映像画面

Claims (14)

1. 通信ネットワークを介して複数の利用者端末が接続され、各利用者端末が取得した利用者の映像情報および音声情報を相互に送受信し、ビデオ会議を行うビデオ会議システムにおける映像表示方法であって、
   前記各利用者端末が、
   前記利用者の映像情報および音声情報を取得し、
   取得した映像情報及び音声情報のうち少なくともいずれか一方の情報の内容に基づいて前記利用者の行動パターンを判断し、該行動パターンに応じて符号化パラメータを決定し、
   決定された符号化パラメータに従って符号化された映像情報及び音声情報を他の利用者端末に送信し、
   他の利用者端末それぞれから、他の利用者の符号化された映像情報及び音声情報を受信し、
   各利用者ごとの符号化された映像情報を表示することを特徴とするビデオ会議システムにおける映像表示方法。
2. 通信ネットワークを介して複数の利用者端末が接続され、各利用者端末が取得した利用者の映像情報および音声情報を相互に送受信し、ビデオ会議を行うビデオ会議システムにおける映像表示方法であって、
   前記各利用者端末が、
   他の利用者端末それぞれから、他の利用者の映像情報および音声情報を受信し、
   各利用者ごとに、受信した映像情報及び音声情報のうち少なくともいずれか一方の情報の内容に基づいて利用者の行動パターンを判断し、該行動パターンに応じて符号化パラメータを決定し、
   各利用者ごとに、決定された符号化パラメータに従って符号化された映像情報を表示することを特徴とするビデオ会議システムにおける映像表示方法。
3. 通信ネットワークを介して複数の利用者端末が接続され、各利用者端末が取得した利用者の映像情報および音声情報を相互に送受信し、ビデオ会議を行うビデオ会議システムに用いられる前記利用者端末であって、
   前記利用者の映像情報および音声情報を取得する手段と、
   取得した映像情報及び音声情報のうち少なくともいずれか一方の情報の内容に基づいて前記利用者の行動パターンを判断し、該行動パターンに応じて符号化パラメータを決定する手段と、
   決定された符号化パラメータに従って符号化された映像情報及び音声情報を他の利用者端末に送信する手段と、
   他の利用者端末それぞれから、他の利用者の符号化された映像情報及び音声情報を受信する手段と、
   各利用者ごとの符号化された映像情報を表示する手段と、
   を有することを特徴とするビデオ会議システムに用いられる利用者端末。
4. 通信ネットワークを介して複数の利用者端末が接続され、各利用者端末が取得した利用者の映像情報および音声情報を相互に送受信し、ビデオ会議を行うビデオ会議システムに用いられる前記利用者端末であって、
   他の利用者端末それぞれから、他の利用者の映像情報および音声情報を受信する手段と、
   各利用者ごとに、受信した映像情報及び音声情報のうち少なくともいずれか一方の情報の内容に基づいて利用者の行動パターンを判断し、該行動パターンに応じて符号化パラメータを決定する手段と、
   各利用者ごとに、決定された符号化パラメータに従って符号化された映像情報を表示する手段と、
   を有することを特徴とするビデオ会議システムに用いられる利用者端末。
5. 通信ネットワークを介して複数の利用者端末が接続され、各利用者端末が取得した利用者の映像情報および音声情報を相互に送受信し、ビデオ会議を行うビデオ会議システムに用いられる利用者端末用プログラムであって、
   前記利用者の映像情報および音声情報を取得するステップと、
   取得した映像情報及び音声情報のうち少なくともいずれか一方の情報の内容に基づいて前記利用者の行動パターンを判断し、該行動パターンに応じて符号化パラメータを決定するステップと、
   決定された符号化パラメータに従って符号化された映像情報及び音声情報を他の利用者端末に送信するステップと、
   他の利用者端末それぞれから、他の利用者の符号化された映像情報及び音声情報を受信するステップと、
   各利用者ごとの符号化された映像情報を表示するステップと、
   を前記利用者端末に実行させることを特徴とするビデオ会議システムに用いられる利用者端末用プログラム。
6. 通信ネットワークを介して複数の利用者端末が接続され、各利用者端末が取得した利用者の映像情報および音声情報を相互に送受信し、ビデオ会議を行うビデオ会議システムに用いられる利用者端末用プログラムであって、
   他の利用者端末それぞれから、他の利用者の映像情報および音声情報を受信するステップと、
   各利用者ごとに、受信した映像情報及び音声情報のうち少なくともいずれか一方の情報の内容に基づいて利用者の行動パターンを判断し、該行動パターンに応じて符号化パラメータを決定するステップと、
   各利用者ごとに、決定された符号化パラメータに従って符号化された映像情報を表示するステップと、
   を前記利用者端末に実行させることを特徴とするビデオ会議システムに用いられる利用者端末用プログラム。
7. 前記符号化パラメータは、ビットレート及び画像サイズのうち少なくともいずれか一方であることを特徴とする請求項５記載のビデオ会議システムに用いられる利用者端末用プログラム。
8. 前記符号化パラメータは、フレームレート及び画像サイズのうち少なくともいずれか一方であることを特徴とする請求項６記載のビデオ会議システムに用いられる利用者端末用プログラム。
9. 前記音声情報の内容に基づいて符号化パラメータを決定する場合には、２つの画質高低の符号化パラメータの値を用意し、前記音声情報のゲイン値が予め定められた第１の閾値以上のときには、画質が高い値の符号化パラメータを割り当て、前記音声情報のゲイン値が予め定められた第１の閾値未満のときには、画質が低い値の符号化パラメータを割り当てることを特徴とする請求項５乃至８のいずれか１項に記載のビデオ会議システムに用いられる利用者端末用プログラム。
10. 前記映像情報の内容に基づいて符号化パラメータを決定する場合には、２つの画質高低の符号化パラメータの値を用意し、前記映像情報の画像フレーム間の差分情報が予め定められた第２の閾値以上のときには、画質の高い値の符号化パラメータを割り当て、前記映像情報の画像フレーム間の差分情報が予め定められた第２の閾値未満のときには、画質の低い値の符号化パラメータを割り当てることを特徴とする請求項５乃至８のいずれか１項に記載のビデオ会議システムに用いられる利用者端末用プログラム。
11. 前記符号化パラメータは、前記音声情報のゲイン値又は前記映像情報の画像フレーム間の差分情報が大きいほど画質が高くなるようなパラメータ値を割り当てられることを特徴とする請求項５乃至８のいずれか１項に記載のビデオ会議システムに用いられる利用者端末用プログラム。
12. 前記決定した符号化パラメータは、利用者単位に変更可能であることを特徴とする請求項５乃至１１のいずれか１項に記載のビデオ会議システムに用いられる利用者端末用プログラム。
13. 前記映像情報の符号化パラメータを決定するステップは、前記行動パターンに応じて映像情報の透過率を決定することを特徴とする請求項５乃至１２のいずれか１項に記載のビデオ会議システムに用いられる利用者端末用プログラム。
14. 前記各利用者の映像情報および音声情報は、サーバコンピュータを介して送受信されることを特徴とする請求項５乃至１３のいずれか１項に記載のビデオ会議システムに用いられる利用者端末用プログラム。

Images