JP2004023706A

JP2004023706A - Multi-point conference system

Info

Publication number: JP2004023706A
Application number: JP2002179693A
Authority: JP
Inventors: Koichi Fujita; 藤田　孝一; Tomohisa Suyama; 陶山　智久; Yasuo Yomogida; 蓬田　康雄
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2002-06-20
Filing date: 2002-06-20
Publication date: 2004-01-22

Abstract

<P>PROBLEM TO BE SOLVED: To superimpose images or the like on video images of conference attendances' faces and video image references without limitation of characters to be compounded. <P>SOLUTION: In a terminal 200, a WWW control means 207 converts the characters and the images to be compounded specified by an operation input means 204 into bitmap (BMP) image data, which is output to an image CODEC control means 209. The image CODEC control means converts the BMP image data into data corresponding to one slice of MPEG-1 data, and sends the converted data to a server device 100. The server device replaces the data with a 4th slice image of the terminal and compound the data with 1st to 3rd slice images. <P>COPYRIGHT: (C)2004,JPO

Description

【０００１】
【発明の属する技術分野】
本発明は、遠隔地の多地点間で会議を行うために映像、音声などを伝送する多地点会議システムに関し、特に会議参加者の顔の映像や映像資料に名前などの文字や画像を合成する機能に関する。
【０００２】
【従来の技術】
この種の従来例として、ＴＶ会議システムなどでは、全ての会議参加者の顔を合成して表示する場合、画面上に表示されている他の会議参加者が分からないケースがあるので、文字発生器が発生する文字により名前、所属名などを作成して顔などの映像の下にスーパーインポーズなどで合成する。また、ＰＣ（パーソナルコンピュータ）上のＴＶ会議アプリケーションでは、映像に合成しないでウィンドウのタイトルバーに参加者名などを表示するものも知られている。
【０００３】
【発明が解決しようとする課題】
しかしながら、上記の前者の場合には、文字発生器が発生する文字しか使用することができないので、表示できる文字の種類が少なく、また、合成する際の設定を合成機器側で登録する必要が有り、さらに、合成する文字を毎回変更する場合に柔軟性に欠けるという問題点がある。
また、後者の場合には、ＰＣ上には多種多様なフォントデータが記憶されているのが通常であるので文字の制限はほとんどないが、文字以外の画像などを合成することができないという問題点がある。
【０００４】
本発明は上記従来例の問題点に鑑み、会議参加者の顔の映像や映像資料に合成する文字の制限を受けることなくかつ画像なども合成することができる多地点会議システムを提供することを目的とする。
【０００５】
【課題を解決するための手段】
本発明は上記目的を達成するために、複数の会議端末と会議サーバ装置がネットワークを介して接続され、前記会議サーバ装置が前記複数の会議端末から受信した会議参加者の映像及び音声を合成して前記複数の会議端末に配信する多地点会議システムであって、
前記会議参加者の映像に合成する文字データを画像データに変換する手段と、
前記画像データを前記会議参加者の映像に合成する手段とを、
有する構成とした。
【０００６】
上記構成により、多種多様なフォントデータを画像データに変換して合成することができるので、会議参加者の顔の映像に合成する文字の制限を受けることなくかつ画像なども合成することができる。
【０００７】
本発明はまた、複数の会議端末と会議サーバ装置がネットワークを介して接続され、前記会議サーバ装置が前記複数の会議端末から受信した会議参加者の映像及び音声を合成して前記複数の会議端末に配信する多地点会議システムであって、
前記会議端末が自己の会議参加者の映像に合成する文字データをビットマップイメージデータに変換し、このビットマップイメージデータをＭＰＥＧ１のスライスデータに変換してこのスライスデータを前記サーバ装置に送信し、
前記サーバ装置が前記スライスデータを前記会議参加者の映像のＭＰＥＧ１のスライスデータに合成して前記複数の会議端末に配信するように構成した。
上記構成により、多種多様なフォントデータをＭＰＥＧ１のスライスデータに変換して合成することができるので、会議参加者の顔の映像に合成する文字の制限を受けることなくかつ画像なども合成することができる。
【０００８】
本発明はまた、複数の会議端末と会議サーバ装置がネットワークを介して接続され、前記会議サーバ装置が前記複数の会議端末から受信した会議参加者の映像及び音声を合成して前記複数の会議端末に配信する多地点会議システムであって、
前記会議端末が自己の会議参加者の映像に合成する文字データをビットマップイメージデータに変換し、このビットマップイメージデータをＭＰＥＧ１のスライスデータに変換してこのスライスデータを前記会議参加者の映像のＭＰＥＧ１のスライスデータに合成して前記サーバ装置に送信し、
前記サーバ装置が前記会議端末から送信された合成映像を前記複数の会議端末に配信するように構成した。
上記構成により、多種多様なフォントデータをＭＰＥＧ１のスライスデータに変換して合成することができるので、会議参加者の顔の映像に合成する文字の制限を受けることなくかつ画像なども合成することができる。
【０００９】
本発明はまた、映像資料に合成する文字データを画像データに変換し、前記画像データを前記映像資料に合成するように構成した。
上記構成により、映像資料に合成する文字の制限を受けることなくかつ画像なども合成することができる。
【００１０】
本発明はまた、ネットワーク上のＷＷＷサーバに登録されているＷＥＢ資料であって前記会議端末が他の会議参加者に見せたいＷＥＢ資料のＵＲＬアドレスを前記会議サーバ装置に通知し、前記会議サーバ装置が前記通知されたＵＲＬアドレスを他の会議端末に通知し、前記他の会議端末が前記通知されたＵＲＬアドレスに基づいて前記ＷＷＷサーバ上のＷＥＢ資料をアクセスして表示した場合に、前記会議端末の会議参加者の映像に対してその会議参加者が前記ＷＥＢ資料を見せたことを示す画像を合成するように構成した。
上記構成により、どの会議参加者がＷＥＢ資料を見せたかを、会議参加者の顔の映像に合成する文字の制限を受けることなくかつ画像でも合成して表示することができる。
【００１１】
本発明はまた、前記会議サーバ装置がネットワーク上のＷＷＷサーバに登録されているＷＥＢ資料のＵＲＬアドレスをＷＥＢ資料データベースに登録し、前記ＷＥＢ資料データベースに登録されているＵＲＬアドレスであって前記会議端末が他の会議参加者に見せたいＷＥＢ資料のＵＲＬアドレスを前記会議サーバ装置に通知し、前記会議サーバ装置が前記通知されたＵＲＬアドレスを他の会議端末に通知し、前記他の会議端末が前記通知されたＵＲＬアドレスに基づいて前記ＷＷＷサーバ上のＷＥＢ資料をアクセスして表示した場合に、前記会議端末の会議参加者の映像に対してその会議参加者が前記ＷＥＢ資料を見せたことを示す画像を合成するように構成した。
上記構成により、どの会議参加者がＷＥＢ資料を見せたかを、会議参加者の顔の映像に合成する文字の制限を受けることなくかつ画像でも合成して表示することができる。
【００１２】
本発明はまた、前記会議サーバ装置がさらに、自己のＷＥＢ資料及びそのＵＲＬアドレスが登録されたＷＥＢ資料データベースと、前記会議端末から前記自己のＷＥＢ資料を他の会議参加者に見せたい要求があった場合にそのＵＲＬアドレスを他の会議端末に通知する手段とを有し、前記他の会議端末が前記通知されたＵＲＬアドレスに基づいて前記ＷＥＢ資料データベース上のＷＥＢ資料をアクセスして表示した場合に、前記会議端末の会議参加者の映像に対してその会議参加者が前記ＷＥＢ資料を見せたことを示す画像を合成するように構成した。
上記構成により、どの会議参加者がＷＥＢ資料を見せたかを、会議参加者の顔の映像に合成する文字の制限を受けることなくかつ画像でも合成して表示することができる。
【００１３】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について説明する。図１は本発明に係る多地点会議システムの一実施形態を示す構成図である。
【００１４】
図１に示すシステムでは、一例として多地点会議サーバ装置（単に会議サーバ装置又はサーバ装置ともいう）１００に対して最大８台の多地点会議クライアント端末（以下単に「端末」ともいう）２００がＬＡＮ／ＷＡＮ３００を介して接続される。サーバ装置１００には大容量記憶装置としてハードディスク（ＨＤ）１２０が設けられている。また、ＬＡＮ／ＷＡＮ３００は、世界中のＷＷＷサーバ４００に接続可能であり、さらに、会議サーバ装置１００も同様にＷＷＷサーバである。
【００１５】
図２は図１に示すシステムにおいて、端末２００がＷＷＷサーバ４００上（さらには会議サーバ装置１００上）のＷＥＢ資料にアクセスする動作を示し、端末２００はブラウザを有する。そして、会議サーバ装置１００はＷＷＷサーバ４００上のＷＥＢ資料名とＵＲＬアドレスを対応して登録するためのＷＥＢ資料データベースを有する。このＷＥＢ資料データベースにはさらに、自己のＷＥＢ資料が登録される。ＷＥＢ資料はテキストファイルや、ＪＰＥＧ、ＧＩＦ、ＢＭＰなどの画像を含むファイルである。
【００１６】
図２における手順（１）はＷＷＷサーバ４００上のＷＥＢ資料を「見る」手順を示し、手順（２）は「見せる」手順を示す。
（１）見る側の端末２００ａのクライアントがＷＷＷサーバ４００上のＷＥＢ資料名を選択して「見る」ボタンを操作して端末２００ａが会議サーバ装置１００に対してＷＥＢ資料名を送ると、会議サーバ装置１００はこれに応答してそのＵＲＬアドレスを送る。これにより、端末２００ａはＷＷＷサーバ４００上のＷＥＢ資料にアクセスすることができる。
【００１７】
（２）見せる側の端末２００ａのクライアントがＷＷＷサーバ４００上のＷＥＢ資料のＵＲＬアドレスを選択して他の見せられる側の端末２００ｂのクライアントに「見せたい」ボタンを操作し、端末２００ａが会議サーバ装置１００に対してそのＵＲＬアドレスを送ると、会議サーバ装置１００は見せられる側の端末２００ｂに対してそのＵＲＬアドレスを送る。これにより、見せられる側の端末２００ｂがＷＷＷサーバ４００上のＷＥＢ資料にアクセスすることができるので、端末２００ａのクライアントが他の端末２００ｂのクライアントに、見せたいＷＥＢ資料を見せることができる。
このようにＷＷＷサーバ４００上のＷＥＢ資料を見ている間（アクセス中）は、会議サーバ装置１００の負担はない。
【００１８】
図３を参照してサーバ装置１００について詳しく説明する。このサーバ装置１００はソフトウエア及びハードウエアにより構成される通信制御手段１０１、ユーザ認証手段１０２、予約管理手段１０３、サーバ制御手段１０４、文字合成手段１０５、映像合成手段１０６、音声フォーマット変換手段１０７、音声合成手段１０８、ＷＷＷサーバ手段１１１、蓄積手段１１３、及び負荷監視制御手段１１５と、ＨＤ１２０上に構成されるユーザ管理データベース１０９、予約管理データベース１１０、ＷＥＢ資料データベース１１２、映像データベース１１４及び画面合成定義データベース１１６を有する。
【００１９】
通信制御手段１０１はクライアント端末２００から受信するデータ／制御コマンド１として、映像音声データ、ユーザ認証データ、予約登録情報、端末情報、映像資料データ、ＷＥＢ資料データ、ＵＲＬデータ、拡大映像要求コマンド及びその他制御用データなどを受け取り、クライアント端末２００に対して送信するデータ／制御コマンド２として、映像音声データ、ＨＴＭＬデータ、会議情報データ、ユーザ認証結果通知及びその他制御用データなどを送る。
【００２０】
通信制御手段１０１とユーザ認証手段１０２の間ではユーザ認証データ及びユーザ認証結果通知３がやり取りされ、通信制御手段１０１と予約管理手段１０３との間では予約情報データ４がやり取りされる。通信制御手段１０１とサーバ制御手段１０４との間では制御用データ５がやり取りされ、通信制御手段１０１から文字合成手段１０５には文字情報データ６が送られる。通信制御手段１０１と映像合成手段１０６との間では映像データ及び合成映像データ７がやり取りされ、文字合成手段１０５から映像合成手段１０６には文字映像データ１０が送られる。通信制御手段１０１から音声フォーマット変換手段１０７にはＧＳＭ音声データ８が送られ、音声合成手段１０８から通信制御手段１０１には合成ＧＳＭ音声データ９が送られる。音声フォーマット変換手段１０７と音声合成手段１０８との間ではＰＣＭ合成音声データ及びＧＳＭ合成音声データ１１がやり取りされる。
【００２１】
ユーザ認証手段１０２とユーザ管理データベース１０９との間ではユーザ認証データ１２がやり取りされ、予約管理手段１０３と予約管理データベース１１０との間では予約情報データ１３がやり取りされる。サーバ制御手段１０４とＷＷＷサーバ手段１１１との間ではＨＴＴＰリクエストデータ及びＨＴＴＰレスポンスデータ１４がやり取りされ、サーバ制御手段１０４と音声合成手段１０８との間では音声合成制御データ１５がやり取りされる。サーバ制御手段１０４から映像合成手段１０６に対しては映像合成制御データ１６が送られる。サーバ制御手段１０４と蓄積手段１１３との間では蓄積制御データ及び読み出し制御データ１７がやり取りされ、映像合成手段１０６と蓄積手段１１３との間では蓄積映像データ及び読み出し映像データ１８がやり取りされる。音声合成手段１０８と蓄積手段１１３との間では蓄積音声データ及び読み出し音声データ１９がやり取りされる。
【００２２】
ＷＷＷサーバ手段１１１とＷＥＢ資料データベース１１２との間ではＷＥＢ資料及びＷＥＢ資料データベース２０がやり取りされ、蓄積手段１１３と映像データベース１１４との間では映像・音声データ及び映像資料データ２１がやり取りされる。また、蓄積手段１１３とＷＥＢ資料データベース１１２との間ではＷＥＢ資料及びＷＥＢ資料データベース２０がやり取りされる。映像合成手段１０６と画面合成定義データベース１１６との間では画面合成定義データ２４がやり取りされる。負荷監視制御手段１１５はＬＡＮ／ＷＡＮ３００との間で負荷監視用パケットデータ及び負荷監視用応答パケットデータ２２をやり取りして、レート制御指示データ２３を通信制御手段１０１に送る。
【００２３】
サーバ装置１００の基本機能を説明する。
・プロキシ機能：ＷＷＷサーバ機能。ＬＡＮ／ＷＡＮ３００からの要求が多地点会議のＨＴＴＰ要求か通常のインターネットアクセス要求かを判断し、後者の場合にはインターネット用プロキシへ配信する。
・ユーザ認証機能：あらかじめ登録されているユーザか否かを判断する。
・映像合成・配信機能：各端末２００からの映像を指定されたレイアウトで１枚に合成して全端末２００に配信する。
・音声合成・配信機能：各端末２００からの音声を指定された組み合わせでミキシングして全端末２００に配信する。
・文字合成機能：各端末２００からの映像の下部にスライスデータを合成して１枚のフレームに合成する。
【００２４】
・記録機能：各端末２００からの映像・音声をＨＤ１２０に記録する。
・記録再生機能：ＨＤ１２０に記録された映像・音声データを再生して各端末２００に配信する。ダウンロードであれば、ＭＰＥＧ１形式に変換してダウンロードする。
・レート制御機能：端末２００が接続されているネットワーク帯域幅を調査し、帯域幅に応じた映像ビットレート、音声符号化方式を採用する。
【００２５】
次に詳細な機能を説明する。
＜会議予約＞
・会議登録：開催する会議を予約登録する機能。予約時に登録する内容は、日時／開催会議名／コメント／参加ユーザ認証設定。
・会議削除：既に予約登録した会議予約内容を削除する機能。
・会議登録内容一覧表示：既に登録した会議内容を日付指定された日の内容一覧表として表示する機能。
・会議参加認証：ユーザが会議に参加する際に、その会議に登録されているか否かを判断し、登録されていない場合には会議参加を拒否する機能。
【００２６】
＜ＷＥＢ資料＞
・ＷＥＢ資料登録：ＷＥＢ資料として使用するＵＲＬアドレスに関連付けた名前を「ＷＥＢ資料名」として登録する機能。
・ＷＥＢ資料削除：既に登録したＷＥＢ資料名を削除する機能。
・ＷＥＢ資料一覧表示：サーバ装置１００に登録されているＷＥＢ資料名の一覧を表示する機能。
・ＷＥＢ資料表示：登録されたＷＥＢ資料名を選択してＷＥＢ資料名に関連付けられたＵＲＬアドレスのＷＥＢページ情報を表示する機能。会議中であれば映像表示エリアを縮小して表示する。
・ＷＥＢ資料反映：現在表示しているＷＥＢ資料の内容を他の会議参加者に反映する機能。
【００２７】
＜映像資料＞
・映像資料登録：ＤＶ（デジタルビデオの略：以下同じ）カメラに記録した映像をＭＰＥＧ１に変換してサーバ装置１００上に登録する。
・映像資料削除：既に登録された映像資料を削除する。
・映像資料プレビュー（再生／一時停止／早送り／巻き戻し）：既に登録した映像資料を再生、再生一時停止、早送り、巻き戻す機能。
・映像資料一覧表示：既に登録された映像資料の一覧を表示する機能。
・映像資料見る（再生／一時停止／早送り／巻き戻し）：登録された映像資料を会議中に合成して配信することで一人で参照する機能。
・映像資料見せる：登録された映像資料を会議中に合成して全員に配信する機能。
【００２８】
＜議事録＞
・議事録録画：現在会議中の映像・音声、映像資料、ＷＥＢ資料をサーバ装置１００上に記録する機能。
・議事録ダウンロード：サーバ装置１００上に登録された議事録をＨＴＭＬ形式で、端末２００の記録媒体上にダウンロードする機能。
・議事録閲覧：サーバ装置１００上に登録された議事録をレート制御を受けながら配信する機能。
・議事録一覧表示／削除：サーバ装置１００上に登録された議事録を一覧表示し、また、削除する機能。
・議事録再生（ＷＥＢ資料再生）：ダウンロードした議事録をＷＥＢブラウザで参照する機能。
【００２９】
＜表示＞
・会議参加者名表示：映像表示領域の一部に参加者名を合成する機能。
・会議情報表示：現在開催中の会議情報（会議名／開催日時／主催者名／参加者名）を表示する機能。
・映像拡大／縮小
【００３０】
次に図４を参照して端末２００について詳しく説明する。この端末２００は音声入出力手段２０１、映像入力手段２０２、ＷＷＷ表示手段２０３、操作入力手段２０４、音声フォーマット変換手段２０５、映像フォーマット変換手段２０６、ＷＷＷ制御手段２０７、音声コーデック制御手段２０８、映像コーデック制御手段２０９、端末制御手段２１０、蓄積手段２１１、記録媒体２１２及び通信制御手段２１３を有し、通信制御手段２１３はＬＡＮ／ＷＡＮ３００（図１、図３参照）に接続される。
【００３１】
音声入出力手段２０１から音声フォーマット変換手段２０５にはＰＣＭ音声入力信号３１が送られ、音声コーデック制御手段２０８から音声入出力手段２０１には音声出力信号３２が送られる。映像入力手段２０２から映像フォーマット変換手段２０６にはＤＶ映像信号３３が送られる。ＷＷＷ制御手段２０７からＷＷＷ表示手段２０３にはＨＴＭＬファイル制御情報３４が送られ、ＷＷＷ表示手段２０３からＷＷＷ制御手段２０７にはＣＧＩフォーム情報３５ａが送られる。操作入力手段２０４からＷＷＷ表示手段２０３には操作イベントデータ３５ｂが送られる。
【００３２】
音声フォーマット変換手段２０５から音声コーデック制御手段２０８にはＰＣＭダウンサンプリング音声データ３６が送られ、映像フォーマット変換手段２０６から映像コーデック制御手段２０９にはＤＶ映像データ３７が送られる。映像コーデック制御手段２０９からＷＷＷ制御手段２０７にはＭＰＥＧ１映像データ３８が送られる。ＷＷＷ制御手段２０７から端末制御手段２１０には制御用データ３９が送られ、端末制御手段２１０と蓄積手段２１１との間では制御用データ４０がやり取りされる。蓄積手段２１１と記録媒体２１２との間では映像・音声データ、映像資料及びＷＥＢ資料用データ（ＨＴＭＬ）４１がやり取りされる。
【００３３】
音声コーデック制御手段２０８から通信制御手段２１３にはＧＳＭ音声データ４２が送られ、通信制御手段２１３から音声コーデック制御手段２０８にはＧＳＭ音声データ４３が送られる。映像コーデック制御手段２０９から通信制御手段２１３にはＭＰＥＧ１映像データ４４が送られ、通信制御手段２１３から映像コーデック制御手段２０９にはＭＰＥＧ１映像データ４５が送られる。端末制御手段２１０と通信制御手段２１３との間では制御用データ４６がやり取りされる。
【００３４】
次に端末２００の主な機能について説明する。
・音声データ配信：ＤＶカメラ／マイク入力から音声を取り込み、音声データをサーバ装置に配信する機能。（ＤＶカメラ／マイク入力からの音声入力ＰＣＭデータをダウンサンプリング後にＧＳＭに変換し、ＧＳＭのフレーム単位でパケット化してＨＴＴＰプロトコルで配信する。）
・音声再生：
・映像データ配信：ＤＶカメラ／ＵＳＢカメラから映像を取り込み、映像データをサーバ装置に配信する機能。（ＤＶカメラ／ＵＳＢカメラからＤＶ形式の映像データをＭＰＥＧ１に変換し、ＭＰＥＧ１のフレーム単位でパケット化してＨＴＴＰプロトコルで配信する。）
【００３５】
次に図５〜図１５を参照して端末２００の表示画面を説明する。
＜メニュー画面＞
メニュー画面には図５に示すように、「会議予約画面表示ボタン」、「映像資料登録画面表示ボタン」、「ＷＥＢ資料登録画面表示ボタン」、「会議議事録の閲覧ダウンロード画面表示ボタン」、「現在開催中の会議に参加するボタン」、「現在開催中の会議情報の表示エリア」、「現在会議が開催されているか否かの状況を表示するエリア」、「現在開催中の会議情報の要求ボタン」、「本日開催開始予定の会議情報を表示するエリア」などが表示される。
＜予約画面＞
図５に示すメニュー画面上の「会議予約画面表示ボタン」が操作されると、図６に示すような会議予約画面が表示され、この会議予約画面から会議を予約することができる。
【００３６】
＜会議画面＞
図５に示すメニュー画面上の現在開催中の会議に参加するための「会議開始ボタン」が操作されると、図７に示すような会議画面が表示される。この会議画面には「議事録会議情報表示エリア」、「映像資料表示エリア」、選択した映像資料を「見る」ボタン及び「見せる」ボタン、「登録ＷＥＢ資料一覧表示エリア」、選択したＷＥＢ資料を「見る」ボタン、「議事録録画開始／停止ボタン」、メニュー画面に戻るための「メニューへ」ボタン、「会議映像表示エリア」が設けられている。「会議映像表示エリア」は図８に詳しく示すように、下側の略半分は４×２＝８個のウィンドウに分割され、各分割ウィンドウには８名の会議参加者のそれぞれの映像が表示される。また、上側の略半分は２×１＝２個のウィンドウに分割され、その右側ウィンドウには自分が見たい、又は他の参加者に見せられた映像資料が表示され、左側ウィンドウにはその映像資料の拡大映像が表示される。
【００３７】
＜会議画面（映像資料表示）＞
図７に示す会議画面上の、選択した映像資料を「見る」ボタン及び「見せる」ボタンが操作されると、図９に示すような映像資料表示の会議画面が表示される。この会議画面には、「会議映像表示エリア」に映像資料が表示され、また、図７に示す会議画面の表示の他に更に、「映像資料再生／一時停止／停止／スライダー／映像資料終了」の各ボタンが表示される。
＜会議画面（ＷＥＢ表示）＞
図７に示す会議画面上の、選択したＷＥＢ資料を「見る」ボタンが操作されると、図１０に示すようなＷＥＢ表示の会議画面が表示される。この会議画面には、図７に示す会議画面の表示の他に更に、「ＷＥＢページ表示エリア」、縮小された「会議映像表示エリア」、「ＵＲＬ入力欄」、「ＷＥＢページ操作ボタン」、表示中のＷＥＢページを他の端末に「見せる」ボタン、「ＷＥＢ資料表示を終了する」ボタンが表示される。
【００３８】
＜映像資料登録画面（プレビュー中）＞
プレビュー中の映像資料登録画面には図１１に示すように、サーバ１００上に登録された映像資料一覧、自端末上の映像資料一覧、外部記録機器内の映像資料一覧、選択した映像資料の移動先／削除ボタン、「メニューへ」ボタン、映像資料再生表示エリア、スライダーバー、映像資料再生／一時停止／停止ボタン、映像資料名入力欄などが表示される。
【００３９】
＜ＷＥＢ資料登録画面＞
ＷＥＢ資料登録画面には図１２に示すように、登録するＷＥＢ資料名入力欄、入力したＷＥＢ資料名登録ボタン、既に登録されたＷＥＢ資料名表示一覧、ＷＥＢ資料一覧からの表示／削除ボタン、「メニューへ」ボタン、ＵＲＬアドレス入力欄、ＷＥＢページ表示エリア、ＷＥＢ操作ボタンなどが表示される。
【００４０】
＜会議議事録閲覧画面（ダウンロード）＞
ダウンロードを行うための会議議事録閲覧画面には図１３に示すように、「メニューへ」ボタン、議事録一覧表示エリア、議事録一覧からのダウンロード／閲覧／削除ボタン、ダウンロード先指定エリアなどが表示される。
＜会議議事録閲覧画面＞
会議議事録閲覧画面には図１４に示すように、議事録会議情報表示エリア、映像・ＷＥＢ資料表示モード切換ボタン、スライダーバー、議事録再生／一時停止／停止ボタン、閲覧ダウンロード画面へ進むボタン、議事録映像表示エリアなどが表示される。
【００４１】
＜会議議事録閲覧画面（ＷＥＢ表示）＞
ＷＥＢ表示の会議議事録閲覧画面には図１５に示すように、図１４に示す表示に加えて、ＵＲＬアドレス入力欄、ＷＥＢページ表示エリア（議事録映像表示エリアに代わる）、縮小された議事録映像表示エリア、ＷＥＢページ操作ボタンなどが表示される。
【００４２】
＜議事録＞
次に図１６を参照してサーバ装置１００の議事録記録の開始処理を説明する。まず、端末２００は「議事録記録開始」ボタンが操作されると議事録記録開始コマンドをサーバ装置１００に送信する。サーバ装置１００では、通信制御手段１０１が端末２００からコマンド（議事録記録開始コマンド）を受信すると、サーバ制御手段１０４に対してコマンド解析を指示し（ステップＳ１）、サーバ制御手段１０４が受信コマンドを議事録記録開始コマンドと解析すると議事録の記録指示を蓄積手段１１３に発行する（ステップＳ２）。そして、蓄積手段１１３が会議中の映像・音声を議事録としてＨＤ１２０上の映像データベース１１４へ記録を開始する（ステップＳ３）。ここで、議事録として記録する映像・音声は、ＨＤ１２０の容量を節約するために、端末２００から受信した全ての映像・音声ではなく、その内、端末２００に配信した映像・音声のみである。
【００４３】
＜映像資料登録＞
次に図１７を参照してサーバ装置１００の映像資料登録の処理を説明する。まず、端末２００は「映像資料登録」ボタンが操作されると映像資料登録コマンドをサーバ装置１００に送信する。サーバ装置１００では、通信制御手段１０１が端末２００からコマンド（映像資料登録コマンド）を受信すると、サーバ制御手段１０４に対してコマンド解析を指示し（ステップＳ２１）、サーバ制御手段１０４が受信コマンドを映像資料登録コマンドと解析すると映像資料の書き込み指示を蓄積手段１１３に発行する（ステップＳ２２）。そして、蓄積手段１１３が映像資料登録コマンドが指示する映像資料をＨＤ１２０上の映像データベース１１４に記録し、また、その管理データをユーザ管理データベース１０９に記録する（ステップＳ２３）。
【００４４】
＜映像資料再生＞
次に図１８を参照してサーバ装置１００の映像資料再生の処理を説明する。まず、端末２００は「見る」ボタンが操作されると映像資料再生コマンドをサーバ装置１００に送信する。サーバ装置１００では、通信制御手段１０１が端末２００からコマンド（映像資料再生コマンド）を受信すると、サーバ制御手段１０４に対してコマンド解析を指示し（ステップＳ３１）、サーバ制御手段１０４が受信コマンドを映像資料再生コマンドと解析するとアクセス権判断指示をサーバ制御手段１０４に発行し（ステップＳ３２）、サーバ制御手段１０４がそのユーザのアクセス権を判断する（ステップＳ３３）。
【００４５】
そして、「アクセス権有り」の場合には、蓄積手段１１３が映像資料再生開始コマンドが指示する映像資料を、ユーザ管理データベース１０９を参照しながら映像データベース１１４から再生し（ステップＳ３４→Ｓ３５）、次いで再生した映像・音声をそれぞれ映像合成手段１０６と音声合成手段１０８により合成し（ステップＳ３６）、次いでこれを通信制御手段１０１により端末２００に配信する（ステップＳ３７）。他方、「アクセス権無し」の場合には、サーバ制御手段１０４が「アクセス権無し」の送信コマンドを生成し（ステップＳ３４→Ｓ３８）、次いでこれを通信制御手段１０１により端末２００に配信する（ステップＳ３９）。
【００４６】
＜ＷＥＢ資料登録＞
次に図１９を参照してサーバ装置１００のＷＥＢ資料登録の処理を説明する。まず、端末２００は「ＷＥＢ資料登録」ボタンが操作されるとＷＥＢ資料登録コマンドをサーバ装置１００に送信する。サーバ装置１００では、通信制御手段１０１が端末２００からコマンド（ＷＥＢ資料登録コマンド）を受信すると、サーバ制御手段１０４に対してコマンド解析を指示し（ステップＳ７１）、サーバ制御手段１０４が受信コマンドをＷＥＢ資料登録コマンドと解析するとＷＥＢ資料管理テーブルの書き込み指示を蓄積手段１１３に発行する（ステップＳ７２）。そして、蓄積手段１１３がＷＥＢ資料管理テーブルを作成してＨＤ１２０上のＷＥＢ資料データベース１１２に記録する（ステップＳ７３）。
【００４７】
＜ＷＥＢ資料イベント登録＞
次に図２０を参照してサーバ装置１００のＷＥＢ資料イベントの記録処理を説明する。まず、端末２００は「ＷＥＢ資料記録」ボタンが操作されるとＷＥＢ資料記録制御コマンドをサーバ装置１００に送信する。サーバ装置１００では、通信制御手段１０１が端末２００からコマンド（ＷＥＢ資料記録制御コマンド）を受信すると、サーバ制御手段１０４に対してコマンド解析を指示し（ステップＳ４１）、サーバ制御手段１０４が受信コマンドをＷＥＢ資料記録制御コマンドと解析すると、表示中の映像資料のＵＲＬの記録指示を蓄積手段１１３に発行する（ステップＳ４２）。そして、蓄積手段１１３が映像資料のＷＥＢ資料イベントとして、会議情報（会議名／開催日時／主催者名／参加者名）と、表示中の映像資料のＵＲＬアドレスと、会議開始からの経過時間をＨＤ１２０上のＷＥＢ資料データベース１１２に記録する（ステップＳ４３）。
【００４８】
＜ＷＥＢ資料見せる＞
次に図２１を参照してサーバ装置１００のＷＥＢ資料イベントの通知処理を説明する。まず、端末２００は「見せる」ボタンが操作されるとＷＥＢ資料ＵＲＬ通知用制御コマンドをサーバ装置１００に送信する。サーバ装置１００では、通信制御手段１０１が端末２００からコマンド（ＷＥＢ資料ＵＲＬ通知用制御コマンド）を受信すると、サーバ制御手段１０４に対してコマンド解析を指示し（ステップＳ５１）、サーバ制御手段１０４が受信コマンドをＷＥＢ資料ＵＲＬ通知用制御コマンドと解析すると、ＵＲＬ通知コマンドの生成指示を発行する（ステップＳ５２）。
【００４９】
そして、サーバ制御手段１０４がＵＲＬ通知コマンドを生成してその送信指示を通信制御手段１０１に発行し（ステップＳ５３）、次いで通信制御手段１０１がこのＵＲＬ通知コマンドを他の端末２００に送信する（ステップＳ５４）。これにより、「見せる」ボタンが操作された端末２００で表示中のＷＥＢ資料のＵＲＬアドレスが他の端末２００で表示されるので、他の端末２００がこのＵＲＬアドレスでＷＷＷサーバ４００（さらにはサーバ装置１００）のＷＥＢ資料にアクセスして表示することができる。
【００５０】
＜議事録再生＞
次に図２２を参照してサーバ装置１００の議事録再生処理を説明する。まず、端末２００は「議事録再生」ボタンが操作されると議事録再生コマンドをサーバ装置１００に送信する。サーバ装置１００では、通信制御手段１０１が端末２００からコマンド（議事録再生コマンド）を受信すると、サーバ制御手段１０４に対してコマンド解析を指示し（ステップＳ６１）、サーバ制御手段１０４が受信コマンドを議事録再生コマンドと解析すると、議事録とＷＥＢ資料イベントの読み出し指示を蓄積手段１１３に発行する（ステップＳ６２）。
【００５１】
次いで蓄積手段１１３が議事録とＷＥＢ資料イベントをＨＤ１２０から読み出し（ステップＳ６３）、次いでサーバ制御手段１０４がＷＥＢ資料イベントの経過時間（参照時間）か否かを判断する（ステップＳ６４）。そして、経過時間（参照時間）の場合にはサーバ制御手段１０４がＵＲＬ通知コマンドを生成してその配信指示を通信制御手段１０１に発行し　（ステップＳ６５）、次いで通信制御手段１０１がこのＵＲＬ通知コマンドを端末２００に送信し（ステップＳ６６）、次いでステップＳ６７に進む。ステップＳ６４において経過時間（参照時間）でない場合には直接ステップＳ６７に進む。ステップＳ６７では議事録の映像と音声をそれぞれ映像合成手段１０６と音声合成手段１０７により合成してその配信指示を通信制御手段１０１に発行し、次いで通信制御手段１０１がレート制御を行いながら、この合成された映像と音声を端末２００に送信する（ステップＳ６８）。
【００５２】
したがって、会議参加者が会議終了後などに議事録を再生する場合に、会議中に映像資料が表示されてＷＥＢ資料として登録された時点でそのＵＲＬアドレスを通知されるので、そのＵＲＬアドレスで再生指示することによりＷＥＢ資料を再生表示させることができる。なお、ステップＳ６５、Ｓ６６においてＵＲＬ通知コマンドを端末２００に送信する代わりに、そのＷＥＢ資料をＵＲＬアドレスに基づいて自動的に再生表示するようにしてもよい。
【００５３】
次に図２３を参照して図８に示した４×２＝８個の各会議参加者映像ウィンドウに文字などを合成する処理について説明する。ここで、ＭＰＥＧ１の１フレーム分のデータは、図２３（ａ）に示すように縦方向に４つのスライスに分割されて符号化されている。そこで、端末２００では、ＷＷＷ制御手段２０７が操作入力手段２０４により指示された、合成する文字や画像をビットマップ（ＢＭＰ）イメージデータに変換し、このＢＭＰイメージデータを映像コーデック制御手段２０９に出力する。そして、映像コーデック制御手段２０９はこのＢＭＰイメージデータをＭＰＥＧ１の１つのスライス分のデータに変換してこれをサーバ装置１００に送信する。そして、サーバ装置１００はこのデータをその端末の４番目のスライス映像に置換して１〜３番目のスライス映像と合成し、その合成画像を会議参加者映像ウィンドウとして全ての端末２００に配信する。
【００５４】
図２４はサーバ装置１００の処理を示している。まず、端末２００は「画像合成」ボタンが操作されると画像合成コマンドと合成用画像（ＭＰＥＧ１スライスデータ）をサーバ装置１００に送信する。サーバ装置１００では、通信制御手段１０１が端末２００からコマンド（画像合成コマンド）を受信すると、サーバ制御手段１０４に対してコマンド解析を指示し（ステップＳ８１）、サーバ制御手段１０４が受信コマンドを画像合成コマンドと解析すると合成画像の受信指示を通信制御手段１０１に発行する（ステップＳ８２）。そして、通信制御手段１０１が合成画像を受信すると画像合成を文字合成手段１０５に指示し（ステップＳ８３）、次いで文字合成手段１０５が合成画像を処理し（ステップＳ８４）、次いで映像合成手段１０６が合成画像を会議中の映像と合成し（ステップＳ８５）、次いで通信制御手段１０１が合成画像を全端末２００に送信する（ステップＳ８６）。
【００５５】
このような合成方法によれば、端末２００には多種多様なフォントデータが記憶されているのが通常であるので文字の制限はほとんどなく、また、フォントデータを画像データ（ＭＰＥＧ１データ）に変換するので、文字以外の画像などもＭＰＥＧデータに変換することにより合成することができる。また、サーバ装置１００は単に端末２００から合成用画像を受け取って合成するのみであるので、文字や画像の変更なども柔軟に対応することができる。
【００５６】
なお、上記の画像合成をサーバ装置１００側で行う代わりに端末２００側で行って合成画像をサーバ装置１００側に送信し、サーバ装置１００側では画像合成を行わずに配信のみを行うようにしてもよい。さらに、このシステムでは、会議参加者が他の会議参加者に映像資料を「見せる」ことができるが、誰が見せたか（名前）やコメントを図８に示す会議参加者映像ウィンドウや映像資料ウィンドウに合成することができる。
【００５７】
ここで、図１では、８台の端末２００と１台のサーバ装置１００のみしか示されていないが、図２５に示すようにＮ台の端末２００の任意の８台とＭ台のサーバ装置１００の任意の１台を用いて１つの会議を開催することができる。
【００５８】
【発明の効果】
以上説明したように本発明によれば、多種多様なフォントデータを画像データに変換して合成することができるので、会議参加者の顔の映像に、合成する文字の制限を受けることなくかつ画像なども合成することができる、多地点会議システムを提供できるものである。
【図面の簡単な説明】
【図１】本発明に係る多地点会議システムの一実施形態を示す構成図
【図２】図１のシステムにおいてＷＥＢ資料をアクセスする場合の手順を示す説明図
【図３】図１のサーバ装置を詳しく示すブロック図
【図４】図１のクライアント端末を詳しく示すブロック図
【図５】図１の端末のメニュー画面を示す説明図
【図６】図１の端末の会議予約画面を示す説明図
【図７】図１の端末の会議画面を示す説明図
【図８】図７の会議映像表示エリアを詳しく示す説明図
【図９】図１の端末の会議画面（映像資料表示）を示す説明図
【図１０】図１の端末の会議画面（ＷＥＢ表示）を示す説明図
【図１１】図１の端末の映像資料登録画面（プレビュー中）を示す説明図
【図１２】図１の端末のＷＥＢ資料登録画面を示す説明図
【図１３】図１の端末の会議議事録閲覧画面（ダウンロード）を示す説明図
【図１４】図１の端末の会議議事録閲覧画面を示す説明図
【図１５】図１の端末の会議議事録閲覧画面（ＷＥＢ表示）を示す説明図
【図１６】図１のサーバ装置の議事録記録の処理を示すフローチャート
【図１７】図１のサーバ装置の映像資料登録の処理を示すフローチャート
【図１８】図１のサーバ装置の映像資料再生の処理を示すフローチャート
【図１９】図１のサーバ装置のＷＥＢ資料登録の処理を示すフローチャート
【図２０】図１のサーバ装置のＷＥＢ資料イベント記録の処理を示すフローチャート
【図２１】図１のサーバ装置のＷＥＢ資料イベント通知の処理を示すフローチャート
【図２２】図１のサーバ装置の議事録再生の処理を示すフローチャート
【図２３】文字合成処理を示す説明図
【図２４】図１のサーバ装置の合成処理を示すフローチャート
【図２５】図１の多地点会議システムの応用例を示す構成図
【符号の説明】
１００　サーバ装置（多地点会議サーバ装置）（会議サーバ装置）
１１２　ＷＥＢ資料データベース
１１４　映像資料データベース
１２０　ハードディスク（ＨＤ）
２００　クライアント端末（多地点会議クライアント端末）（会議端末又は単に端末）
３００　ＬＡＮ／ＷＡＮ
４００　ＷＷＷサーバ[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a multipoint conferencing system for transmitting video, audio, and the like for conducting a conference between remote multipoints, and in particular, synthesizes a character or image such as a name with a video or video material of a face of a conference participant. Regarding functions.
[0002]
[Prior art]
As a conventional example of this type, in a TV conference system or the like, when the faces of all conference participants are combined and displayed, there is a case where other conference participants displayed on the screen are not known, so that a character Names, affiliations, etc. are created using characters generated by the container, and are synthesized under superimposition or the like under images such as faces. There is also known a TV conference application on a PC (personal computer) that displays a participant's name or the like in a window title bar without combining with a video.
[0003]
[Problems to be solved by the invention]
However, in the former case, since only characters generated by the character generator can be used, the types of characters that can be displayed are small, and it is necessary to register settings for combining on the combining device side. In addition, there is a problem that the flexibility is low when the character to be synthesized is changed every time.
In the latter case, there is almost no character limitation since various types of font data are usually stored on the PC, but it is not possible to synthesize images other than characters. There is.
[0004]
The present invention has been made in view of the above-described problems of the related art, and provides a multipoint conference system capable of synthesizing images and the like without being restricted by characters to be synthesized with a video or video material of a face of a conference participant. Aim.
[0005]
[Means for Solving the Problems]
In order to achieve the above object, in the present invention, a plurality of conference terminals and a conference server device are connected via a network, and the conference server device synthesizes video and audio of conference participants received from the plurality of conference terminals. A multi-point conference system for delivering to the plurality of conference terminals,
Means for converting character data to be synthesized with the video of the conference participant into image data,
Means for synthesizing the image data with the video of the conference participant,
Configuration.
[0006]
According to the above configuration, various font data can be converted into image data and synthesized, so that an image or the like can be synthesized without being restricted by characters to be synthesized with a video of a face of a conference participant.
[0007]
According to the present invention, a plurality of conference terminals and a conference server device are connected via a network, and the conference server device synthesizes a video and audio of a conference participant received from the plurality of conference terminals, and the plurality of conference terminals. Is a multi-point conference system that delivers to
The conference terminal converts character data to be synthesized with the video of the conference participant into bitmap image data, converts the bitmap image data into MPEG1 slice data, and transmits the slice data to the server device;
The server device is configured to combine the slice data with MPEG1 slice data of the video of the conference participant and distribute the composite data to the plurality of conference terminals.
According to the above configuration, various types of font data can be converted into MPEG1 slice data and synthesized, so that it is possible to synthesize images and the like without being restricted by characters to be synthesized with a video of a face of a conference participant. it can.
[0008]
According to the present invention, a plurality of conference terminals and a conference server device are connected via a network, and the conference server device synthesizes a video and audio of a conference participant received from the plurality of conference terminals, and the plurality of conference terminals. Is a multi-point conference system that delivers to
The conference terminal converts character data to be synthesized with the video of the conference participant into bitmap image data, converts the bitmap image data into MPEG1 slice data, and converts the slice data into the video of the conference participant. Synthesizing with MPEG1 slice data and transmitting to the server device,
The server device is configured to distribute the composite video transmitted from the conference terminal to the plurality of conference terminals.
According to the above configuration, various types of font data can be converted into MPEG1 slice data and synthesized, so that it is possible to synthesize images and the like without being restricted by characters to be synthesized with a video of a face of a conference participant. it can.
[0009]
The present invention is also configured to convert character data to be combined with video material into image data, and to combine the image data with the video material.
According to the above configuration, an image or the like can be synthesized without being restricted by the characters to be synthesized with the video material.
[0010]
The present invention also provides a Web server registered on a WWW server on a network, wherein the conference terminal notifies the conference server device of a URL address of the Web material that the conference terminal wants to show to other conference participants. Informs another conference terminal of the notified URL address, and when the other conference terminal accesses and displays a web material on the WWW server based on the notified URL address, the conference terminal An image indicating that the conference participant has shown the web material is synthesized with the video of the conference participant.
According to the above configuration, it is possible to display which conference participant showed the WEB material, without being restricted by the characters to be synthesized with the video of the face of the conference participant, and also by synthesizing the image.
[0011]
In the present invention, the conference server may register a URL address of a web material registered in a WWW server on a network in a web material database, and the URL may be a URL address registered in the web material database. Notifies the conference server device of the URL address of the WEB material that the other conference participants want to show, the conference server device notifies the notified URL address to another conference terminal, and the other conference terminal When accessing and displaying the web material on the WWW server based on the notified URL address, it indicates that the conference participant showed the web material to the video of the conference participant of the conference terminal. It was configured to combine images.
According to the above configuration, it is possible to display which conference participant showed the WEB material, without being restricted by the characters to be synthesized with the video of the face of the conference participant, and also by synthesizing the image.
[0012]
According to the present invention, there is also a request that the conference server device further wants to show its own WEB material and its URL address in a WEB material database, and to display the WEB material from the conference terminal to another conference participant. Means for notifying the URL address to another conference terminal in a case where the other conference terminal accesses and displays a web material on the web material database based on the notified URL address. Further, an image indicating that the conference participant has shown the WEB material is synthesized with the video of the conference participant of the conference terminal.
According to the above configuration, it is possible to display which conference participant showed the WEB material, without being restricted by the characters to be synthesized with the video of the face of the conference participant, and also by synthesizing the image.
[0013]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 1 is a configuration diagram showing an embodiment of a multipoint conference system according to the present invention.
[0014]
In the system shown in FIG. 1, as an example, a maximum of eight multipoint conference client terminals (hereinafter, also simply referred to as “terminals”) 200 are connected to a multipoint conference server device (also simply referred to as a conference server device or server device) 100 by a LAN. / WAN300. The server device 100 is provided with a hard disk (HD) 120 as a mass storage device. The LAN / WAN 300 can be connected to WWW servers 400 around the world, and the conference server device 100 is also a WWW server.
[0015]
FIG. 2 shows an operation in which the terminal 200 accesses WEB materials on the WWW server 400 (further, on the conference server device 100) in the system shown in FIG. 1, and the terminal 200 has a browser. The conference server device 100 has a web material database for registering web material names and URL addresses on the WWW server 400 in association with each other. Further, the user's own web material is registered in the web material database. The WEB material is a file including a text file or an image such as JPEG, GIF, or BMP.
[0016]
The procedure (1) in FIG. 2 shows a procedure for “seeing” the WEB material on the WWW server 400, and the procedure (2) shows a procedure for “showing” the web material.
(1) When the client of the terminal 200a on the viewing side selects the WEB material name on the WWW server 400 and operates the “view” button, and the terminal 200a sends the WEB material name to the conference server device 100, the conference server The device 100 sends its URL address in response. Thereby, the terminal 200a can access the WEB material on the WWW server 400.
[0017]
(2) The client of the terminal 200a to be shown selects the URL address of the WEB material on the WWW server 400, and operates the button "I want to show" to the client of the terminal 200b to be shown, and the terminal 200a sets the conference server. When the URL address is transmitted to the device 100, the conference server device 100 transmits the URL address to the terminal 200b on the side to be viewed. Thus, the terminal 200b on the side to be shown can access the WEB material on the WWW server 400, so that the client of the terminal 200a can show the WEB material to be shown to the client of the other terminal 200b.
Thus, the conference server device 100 is not burdened while viewing the WEB material on the WWW server 400 (during access).
[0018]
The server device 100 will be described in detail with reference to FIG. The server apparatus 100 includes a communication control unit 101 composed of software and hardware, a user authentication unit 102, a reservation management unit 103, a server control unit 104, a character synthesizing unit 105, a video synthesizing unit 106, an audio format converting unit 107, Voice synthesizing means 108, WWW server means 111, storage means 113, load monitoring control means 115, user management database 109 configured on HD 120, reservation management database 110, WEB material database 112, video database 114, and screen synthesis definition It has a database 116.
[0019]
The communication control means 101 includes video / audio data, user authentication data, reservation registration information, terminal information, video material data, WEB material data, URL data, enlarged video request command, and other data / control commands 1 received from the client terminal 200. It receives control data and the like, and sends video / audio data, HTML data, conference information data, user authentication result notification, and other control data as data / control commands 2 to be transmitted to the client terminal 200.
[0020]
The user authentication data and the user authentication result notification 3 are exchanged between the communication control means 101 and the user authentication means 102, and the reservation information data 4 is exchanged between the communication control means 101 and the reservation management means 103. The control data 5 is exchanged between the communication control means 101 and the server control means 104, and the character information data 6 is sent from the communication control means 101 to the character synthesizing means 105. Video data and composite video data 7 are exchanged between the communication control means 101 and the video composition means 106, and the character video data 10 is sent from the character composition means 105 to the video composition means 106. The GSM audio data 8 is sent from the communication control means 101 to the audio format conversion means 107, and the synthesized GSM audio data 9 is sent from the audio synthesis means 108 to the communication control means 101. PCM synthesized voice data and GSM synthesized voice data 11 are exchanged between the voice format conversion means 107 and the voice synthesis means 108.
[0021]
User authentication data 12 is exchanged between the user authentication means 102 and the user management database 109, and reservation information data 13 is exchanged between the reservation management means 103 and the reservation management database 110. HTTP request data and HTTP response data 14 are exchanged between the server control unit 104 and the WWW server unit 111, and speech synthesis control data 15 is exchanged between the server control unit 104 and the speech synthesis unit 108. Video synthesis control data 16 is sent from the server control means 104 to the video synthesis means 106. Storage control data and read control data 17 are exchanged between the server control means 104 and the storage means 113, and stored video data and read video data 18 are exchanged between the video synthesizing means 106 and the storage means 113. The stored voice data and the read voice data 19 are exchanged between the voice synthesis unit 108 and the storage unit 113.
[0022]
Web materials and the WEB material database 20 are exchanged between the WWW server means 111 and the WEB material database 112, and video / audio data and video material data 21 are exchanged between the storage means 113 and the video database 114. Further, the web material and the web material database 20 are exchanged between the storage unit 113 and the web material database 112. The screen composition definition data 24 is exchanged between the video composition means 106 and the screen composition definition database 116. The load monitoring control means 115 exchanges load monitoring packet data and load monitoring response packet data 22 with the LAN / WAN 300, and sends rate control instruction data 23 to the communication control means 101.
[0023]
The basic functions of the server device 100 will be described.
-Proxy function: WWW server function. It determines whether the request from the LAN / WAN 300 is an HTTP request for a multipoint conference or a normal Internet access request. In the latter case, the request is distributed to the Internet proxy.
-User authentication function: Determines whether the user is a registered user.
-Video composition / delivery function: Combines video from each terminal 200 into one with a specified layout and distributes it to all terminals 200.
Speech synthesis / distribution function: Mixes the voice from each terminal 200 in a specified combination and distributes it to all terminals 200.
Character combination function: The slice data is combined with the lower part of the video from each terminal 200 and combined into one frame.
[0024]
Recording function: The video / audio from each terminal 200 is recorded on the HD 120.
Recording / playback function: Plays back video / audio data recorded in the HD 120 and distributes it to each terminal 200. If it is a download, it is converted to the MPEG1 format and downloaded.
Rate control function: Checks the bandwidth of the network to which the terminal 200 is connected, and employs a video bit rate and an audio encoding method according to the bandwidth.
[0025]
Next, detailed functions will be described.
<Meeting reservation>
・ Meeting registration: A function to register a meeting to be held. The contents to be registered at the time of reservation are date and time / name of the conference to be held / comment / participating user authentication setting.
・ Meeting deletion: Function to delete the contents of the conference reservation already registered.
-Conference registration content list display: A function to display the registered conference content as a content list on the date specified.
Meeting authentication: a function that determines whether or not a user is registered in a conference when the user participates in the conference, and refuses to participate in the conference if the user is not registered.
[0026]
<Web materials>
Web material registration: A function for registering a name associated with a URL address used as a Web material as a “Web material name”.
-Web material deletion: A function for deleting the registered Web material name.
-Web material list display: A function of displaying a list of Web material names registered in the server device 100.
-Web material display: A function of selecting a registered Web material name and displaying Web page information of a URL address associated with the Web material name. During a meeting, the image display area is reduced and displayed.
-Web material reflection: A function of reflecting the contents of the currently displayed Web material to other conference participants.
[0027]
<Video material>
Video material registration: A video recorded on a DV (abbreviation for digital video: the same applies hereinafter) camera is converted into MPEG1 and registered on the server device 100.
-Deletion of video material: Deletes the video material already registered.
-Video material preview (play / pause / fast forward / rewind): A function to play, pause, fast forward, and rewind already registered video materials.
・ Video material list display: A function to display a list of already registered video materials.
-Viewing video materials (play / pause / fast forward / rewind): A function that allows registered video materials to be synthesized and distributed during a meeting for single reference.
・ Show video material: A function that combines registered video materials during a meeting and distributes them to everyone.
[0028]
<Minutes>
Recording of minutes: A function of recording video / audio, video materials, and WEB materials currently in a meeting on the server device 100.
Minutes download: A function of downloading the minutes registered on the server device 100 in HTML format onto the recording medium of the terminal 200.
-Minute browsing: a function of distributing the minutes registered on the server apparatus 100 while receiving rate control.
Minute list display / deletion: a function of displaying a list of minutes registered on the server apparatus 100 and deleting the minutes.
-Minutes playback (Web material playback): A function of referring to downloaded minutes with a Web browser.
[0029]
<Display>
・ Conference participant name display: Function to combine participant names in a part of the video display area.
-Meeting information display: A function to display information on the currently held meeting (meeting name / holding date / time / organizer name / participant name).
・ Video enlargement / reduction
[0030]
Next, the terminal 200 will be described in detail with reference to FIG. The terminal 200 includes audio input / output means 201, video input means 202, WWW display means 203, operation input means 204, audio format conversion means 205, video format conversion means 206, WWW control means 207, audio codec control means 208, video codec It has a control unit 209, a terminal control unit 210, a storage unit 211, a recording medium 212, and a communication control unit 213. The communication control unit 213 is connected to the LAN / WAN 300 (see FIGS. 1 and 3).
[0031]
The PCM audio input signal 31 is sent from the audio input / output unit 201 to the audio format conversion unit 205, and the audio output signal 32 is sent from the audio codec control unit 208 to the audio input / output unit 201. The DV video signal 33 is sent from the video input means 202 to the video format conversion means 206. The HTML file control information 34 is sent from the WWW control means 207 to the WWW display means 203, and the CGI form information 35a is sent from the WWW display means 203 to the WWW control means 207. Operation event data 35b is sent from the operation input unit 204 to the WWW display unit 203.
[0032]
The PCM down-sampled audio data 36 is sent from the audio format converter 205 to the audio codec controller 208, and the DV video data 37 is sent from the video format converter 206 to the video codec controller 209. MPEG1 video data 38 is sent from the video codec control means 209 to the WWW control means 207. The control data 39 is sent from the WWW control means 207 to the terminal control means 210, and the control data 40 is exchanged between the terminal control means 210 and the storage means 211. Video / audio data, video material, and WEB material data (HTML) 41 are exchanged between the storage unit 211 and the recording medium 212.
[0033]
The GSM voice data 42 is sent from the voice codec control means 208 to the communication control means 213, and the GSM voice data 43 is sent from the communication control means 213 to the voice codec control means 208. The MPEG1 video data 44 is sent from the video codec control means 209 to the communication control means 213, and the MPEG1 video data 45 is sent from the communication control means 213 to the video codec control means 209. The control data 46 is exchanged between the terminal control means 210 and the communication control means 213.
[0034]
Next, main functions of the terminal 200 will be described.
Audio data distribution: a function of capturing audio from a DV camera / microphone input and distributing audio data to a server device. (The sound input PCM data from the DV camera / microphone input is downsampled, converted to GSM, packetized in GSM frame units, and distributed by the HTTP protocol.)
・ Audio playback:
-Video data distribution: a function of capturing a video from a DV camera / USB camera and distributing the video data to a server device. (The DV format video data from the DV camera / USB camera is converted into MPEG1, packetized in MPEG1 frame units, and distributed according to the HTTP protocol.)
[0035]
Next, a display screen of the terminal 200 will be described with reference to FIGS.
<Menu screen>
As shown in FIG. 5, the menu screen includes a “meeting reservation screen display button”, a “video material registration screen display button”, a “web material registration screen display button”, a “meeting minutes browsing download screen display button”, Button for joining the currently held meeting, "display area for currently held meeting information", "area for displaying the status of whether or not the meeting is currently held", "request for currently held meeting information" Buttons, an area for displaying meeting information scheduled to be held today, and the like.
<Reservation screen>
When the “conference reservation screen display button” on the menu screen shown in FIG. 5 is operated, a conference reservation screen as shown in FIG. 6 is displayed, and a conference can be reserved from this conference reservation screen.
[0036]
<Meeting screen>
When the "meeting start button" for participating in the currently held meeting on the menu screen shown in FIG. 5 is operated, a meeting screen as shown in FIG. 7 is displayed. The meeting screen includes a "minutes meeting information display area", a "video material display area", a "view" button and a "show" button for the selected video material, a "registered web material list display area", and a selected web material. A “view” button, a “minutes recording start / stop button”, a “go to menu” button for returning to the menu screen, and a “conference video display area” are provided. As shown in detail in FIG. 8, the “conference video display area” is divided into approximately 4 × 2 = 8 windows in the lower half, and each divided window displays the video of each of the eight conference participants. Is done. The upper half is divided into 2 × 1 = 2 windows, and the right window displays the video material that the user wants to see or is shown to other participants, and the left window displays the video. The enlarged video of the material is displayed.
[0037]
<Meeting screen (video material display)>
When the "view" button and the "show" button for the selected video material on the conference screen shown in FIG. 7 are operated, a video material display conference screen as shown in FIG. 9 is displayed. On this conference screen, video materials are displayed in the “conference video display area”. In addition to the display of the conference screen shown in FIG. 7, further, “video material playback / pause / stop / slider / video material end” Buttons are displayed.
<Conference screen (Web display)>
When the “view” button on the selected web material on the conference screen shown in FIG. 7 is operated, a web-based conference screen as shown in FIG. 10 is displayed. In addition to the display of the conference screen shown in FIG. 7, the conference screen further includes a “Web page display area”, a reduced “conference video display area”, a “URL input field”, a “Web page operation button”, and a display. A button for "showing" the WEB page in the middle to another terminal and a button for "ending the display of WEB materials" are displayed.
[0038]
<Video material registration screen (during preview)>
As shown in FIG. 11, on the video material registration screen during preview, a video material list registered on the server 100, a video material list on its own terminal, a video material list in the external recording device, and a movement of the selected video material A destination / delete button, a “go to menu” button, a video material playback display area, a slider bar, a video material play / pause / stop button, a video material name input field, and the like are displayed.
[0039]
<Web material registration screen>
As shown in FIG. 12, on the WEB material registration screen, a WEB material name input field to be registered, an input WEB material name registration button, a list of already registered WEB material names, a display / delete button from the WEB material list, A "Go to menu" button, a URL address input field, a web page display area, a web operation button, and the like are displayed.
[0040]
<Conference minutes browsing screen (download)>
As shown in FIG. 13, the meeting minutes browsing screen for downloading includes a “go to menu” button, a minutes list display area, a download / browse / delete button from the minutes list, a download destination designation area, and the like. Is done.
<Conference minutes viewing screen>
As shown in FIG. 14, the meeting minutes browsing screen includes a minutes meeting information display area, a video / web material display mode switching button, a slider bar, a minutes playing / pause / stop button, a button for proceeding to a browsing download screen, The minutes video display area is displayed.
[0041]
<Meeting minutes browsing screen (Web display)>
As shown in FIG. 15, in addition to the display shown in FIG. 14, a URL address input box, a WEB page display area (in place of the minutes video display area), and a reduced minutes An image display area, a web page operation button, and the like are displayed.
[0042]
<Minutes>
Next, with reference to FIG. 16, a description will be given of a process of starting minutes recording by the server apparatus 100. First, when the “start minutes recording” button is operated, the terminal 200 transmits a minutes recording start command to the server device 100. In the server apparatus 100, when the communication control means 101 receives a command (minutes recording start command) from the terminal 200, the communication control means 101 instructs the server control means 104 to analyze the command (step S1). When analyzed as a minutes recording start command, a minutes recording instruction is issued to the storage unit 113 (step S2). Then, the storage unit 113 starts recording the video / audio during the meeting as the minutes in the video database 114 on the HD 120 (step S3). Here, the video / audio recorded as the minutes is not all video / audio received from the terminal 200 but only video / audio distributed to the terminal 200 in order to save the capacity of the HD 120.
[0043]
<Video material registration>
Next, with reference to FIG. 17, the process of registering the video material of the server device 100 will be described. First, when the “video material registration” button is operated, the terminal 200 transmits a video material registration command to the server device 100. In the server apparatus 100, when the communication control means 101 receives a command (video material registration command) from the terminal 200, it instructs the server control means 104 to analyze the command (step S21). When analyzed with the material registration command, a write instruction of the video material is issued to the storage means 113 (step S22). Then, the storage unit 113 records the video material specified by the video material registration command in the video database 114 on the HD 120, and records the management data in the user management database 109 (step S23).
[0044]
<Video material playback>
Next, with reference to FIG. 18, a description will be given of a process of reproducing video material by the server apparatus 100. First, when the “view” button is operated, the terminal 200 transmits a video material reproduction command to the server device 100. In the server device 100, when the communication control means 101 receives a command (video material playback command) from the terminal 200, it instructs the server control means 104 to analyze the command (step S31), and the server control means 104 converts the received command into a video image. When analyzing the data reproduction command, an access right determination instruction is issued to the server control means 104 (step S32), and the server control means 104 determines the access right of the user (step S33).
[0045]
In the case of "with access right", the storage means 113 reproduces the video material indicated by the video material reproduction start command from the video database 114 while referring to the user management database 109 (step S34 → S35), and then The reproduced video and audio are synthesized by the video synthesizing unit 106 and the audio synthesizing unit 108 (step S36), and then distributed to the terminal 200 by the communication control unit 101 (step S37). On the other hand, in the case of "no access right", the server control means 104 generates a transmission command of "no access right" (step S34 → S38), and then distributes this to the terminal 200 by the communication control means 101 (step S34). S39).
[0046]
<Web material registration>
Next, referring to FIG. 19, a process of registering WEB materials by the server device 100 will be described. First, the terminal 200 transmits a web material registration command to the server device 100 when a “web material registration” button is operated. In the server device 100, when the communication control means 101 receives a command (Web material registration command) from the terminal 200, it instructs the server control means 104 to analyze the command (step S71), and the server control means 104 transmits the received command to the WEB. When it is analyzed as a material registration command, a write instruction for the WEB material management table is issued to the storage unit 113 (step S72). Then, the storage unit 113 creates a WEB material management table and records it in the WEB material database 112 on the HD 120 (step S73).
[0047]
<Web material event registration>
Next, a recording process of a WEB material event of the server apparatus 100 will be described with reference to FIG. First, the terminal 200 transmits a web material recording control command to the server device 100 when the “web material recording” button is operated. In the server apparatus 100, when the communication control means 101 receives a command (Web material recording control command) from the terminal 200, it instructs the server control means 104 to analyze the command (step S41), and the server control means 104 transmits the received command. When it is analyzed as a WEB material recording control command, a URL recording instruction of the video material being displayed is issued to the storage unit 113 (step S42). Then, the storage unit 113 stores the conference information (meeting name / date / time / organizer name / participant name), the URL address of the video material being displayed, and the elapsed time from the start of the conference as the WEB material event of the video material. It is recorded in the WEB material database 112 on the HD 120 (step S43).
[0048]
<Show web materials>
Next, a Web material event notification process of the server apparatus 100 will be described with reference to FIG. First, when the “show” button is operated, the terminal 200 transmits a Web material URL notification control command to the server device 100. In the server apparatus 100, when the communication control means 101 receives a command (a control command for notifying a Web material URL) from the terminal 200, the communication control means 101 instructs the server control means 104 to analyze the command (step S51), and the server control means 104 receives the command. When the command is analyzed as a web material URL notification control command, an instruction to generate a URL notification command is issued (step S52).
[0049]
Then, the server control means 104 generates a URL notification command and issues a transmission instruction to the communication control means 101 (step S53), and then the communication control means 101 transmits the URL notification command to another terminal 200 (step S53). S54). As a result, the URL address of the WEB material being displayed on the terminal 200 on which the “show” button has been operated is displayed on the other terminal 200, and the other terminal 200 uses this URL address for the WWW server 400 (and further the server device). 100) Web materials can be accessed and displayed.
[0050]
<Reproduction of minutes>
Next, the minutes reproduction process of the server device 100 will be described with reference to FIG. First, when the “play minutes” button is operated, the terminal 200 transmits a minutes playback command to the server device 100. In the server device 100, when the communication control means 101 receives a command (minutes reproduction command) from the terminal 200, it instructs the server control means 104 to analyze the command (step S61), and the server control means 104 discusses the received command. When the command is analyzed as a recording / playback command, a reading instruction of the minutes and the WEB material event is issued to the storage unit 113 (step S62).
[0051]
Next, the accumulation means 113 reads the minutes and the WEB material event from the HD 120 (step S63), and then the server control means 104 determines whether or not the elapsed time (reference time) of the WEB material event (step S64). In the case of the elapsed time (reference time), the server control means 104 generates a URL notification command and issues a distribution instruction to the communication control means 101 (step S65). Is transmitted to the terminal 200 (step S66), and then the process proceeds to step S67. If it is not the elapsed time (reference time) in step S64, the process directly proceeds to step S67. In step S67, the video and audio of the minutes are synthesized by the video synthesizing unit 106 and the audio synthesizing unit 107, respectively, and a distribution instruction is issued to the communication control unit 101. Then, the communication control unit 101 performs the rate control while performing the rate control. The transmitted video and audio are transmitted to terminal 200 (step S68).
[0052]
Therefore, when a meeting participant plays the minutes after the meeting, for example, the video material is displayed during the meeting and the URL address is notified when it is registered as the WEB material. By instructing, the web material can be reproduced and displayed. Instead of transmitting the URL notification command to the terminal 200 in steps S65 and S66, the web material may be automatically reproduced and displayed based on the URL address.
[0053]
Next, with reference to FIG. 23, a description will be given of a process of combining characters and the like with each of the 4 × 2 = 8 conference participant video windows shown in FIG. Here, the data of one frame of MPEG1 is divided into four slices in the vertical direction and encoded as shown in FIG. Therefore, in the terminal 200, the WWW control unit 207 converts the character or image to be synthesized, which is instructed by the operation input unit 204, into bitmap (BMP) image data, and outputs the BMP image data to the video codec control unit 209. . Then, the video codec control unit 209 converts the BMP image data into data of one slice of MPEG1, and transmits the data to the server device 100. Then, the server device 100 replaces this data with the fourth slice image of the terminal and synthesizes it with the first to third slice images, and distributes the synthesized image to all the terminals 200 as a conference participant image window.
[0054]
FIG. 24 shows the processing of the server device 100. First, when the “image composition” button is operated, the terminal 200 transmits an image composition command and an image for composition (MPEG1 slice data) to the server device 100. In the server device 100, when the communication control means 101 receives a command (image synthesis command) from the terminal 200, it instructs the server control means 104 to analyze the command (step S81), and the server control means 104 converts the received command into an image synthesis command. When the command is analyzed as a command, an instruction to receive a composite image is issued to the communication control means 101 (step S82). Then, when the communication control means 101 receives the combined image, it instructs the character combining means 105 to combine the images (step S83), the character combining means 105 processes the combined image (step S84), and then the video combining means 106 combines. The image is combined with the video during the meeting (step S85), and then the communication control means 101 transmits the combined image to all terminals 200 (step S86).
[0055]
According to such a synthesizing method, the terminal 200 generally stores a wide variety of font data, so that there are almost no character restrictions, and the font data is converted into image data (MPEG1 data). Therefore, images other than characters can be synthesized by converting the data into MPEG data. Further, since the server device 100 merely receives and synthesizes the image for synthesis from the terminal 200, it is possible to flexibly cope with a change of a character or an image.
[0056]
Instead of performing the above-described image composition on the server device 100 side, the terminal 200 side transmits the composite image to the server device 100 side, and the server device 100 performs only distribution without performing image composition. Is also good. Further, in this system, a conference participant can “show” video materials to other conference participants, but the names (names) and comments of the participants can be displayed in the conference participant video window or the video material window shown in FIG. Can be synthesized.
[0057]
Here, in FIG. 1, only eight terminals 200 and one server device 100 are shown, but as shown in FIG. 25, arbitrary eight terminals of N terminals 200 and M server devices 100 One conference can be held using any one of the above.
[0058]
【The invention's effect】
As described above, according to the present invention, various types of font data can be converted into image data and synthesized, so that the image of the face of the meeting participant can be displayed without being restricted by the characters to be synthesized and the image can be displayed. It is possible to provide a multi-point conference system that can also combine the above.
[Brief description of the drawings]
FIG. 1 is a configuration diagram showing an embodiment of a multipoint conference system according to the present invention.
FIG. 2 is an explanatory diagram showing a procedure for accessing a web material in the system of FIG. 1;
FIG. 3 is a block diagram showing the server device of FIG. 1 in detail;
FIG. 4 is a block diagram showing the client terminal of FIG. 1 in detail;
FIG. 5 is an explanatory view showing a menu screen of the terminal shown in FIG. 1;
FIG. 6 is an explanatory diagram showing a conference reservation screen of the terminal of FIG. 1;
FIG. 7 is an explanatory diagram showing a conference screen of the terminal in FIG. 1;
FIG. 8 is an explanatory diagram showing the conference video display area of FIG. 7 in detail;
FIG. 9 is an explanatory diagram showing a conference screen (video material display) of the terminal in FIG. 1;
FIG. 10 is an explanatory diagram showing a conference screen (Web display) of the terminal in FIG. 1;
FIG. 11 is an explanatory diagram showing a video material registration screen (during preview) of the terminal of FIG. 1;
FIG. 12 is an explanatory diagram showing a WEB material registration screen of the terminal of FIG. 1;
FIG. 13 is an explanatory diagram showing a meeting minutes browsing screen (download) of the terminal in FIG. 1;
FIG. 14 is an explanatory diagram showing a meeting minutes browsing screen of the terminal in FIG. 1;
FIG. 15 is an explanatory diagram showing a meeting minutes browsing screen (Web display) of the terminal in FIG. 1;
FIG. 16 is a flowchart showing processing for recording minutes of a meeting performed by the server device of FIG. 1;
FIG. 17 is a flowchart showing a process of registering video material in the server device of FIG. 1;
FIG. 18 is a flowchart showing a process of reproducing video material by the server device of FIG. 1;
FIG. 19 is a flowchart showing a process of registering WEB materials by the server device of FIG. 1;
20 is a flowchart showing a process of recording a WEB material event by the server device of FIG. 1;
FIG. 21 is a flowchart showing processing of a web material event notification of the server device of FIG. 1;
FIG. 22 is a flowchart showing processing for playing back minutes of a meeting in the server device of FIG. 1;
FIG. 23 is an explanatory diagram showing a character synthesizing process.
FIG. 24 is a flowchart showing a combining process of the server device of FIG. 1;
FIG. 25 is a configuration diagram showing an application example of the multipoint conference system of FIG. 1;
[Explanation of symbols]
100 server device (multipoint conference server device) (conference server device)
112 WEB material database
114 Video Material Database
120 Hard Disk (HD)
200 client terminal (multipoint conference client terminal) (conference terminal or simply terminal)
300 LAN / WAN
400 WWW server

Claims

A multi-point system in which a plurality of conference terminals and a conference server device are connected via a network, and the conference server device synthesizes video and audio of conference participants received from the plurality of conference terminals and distributes the synthesized video and audio to the plurality of conference terminals. A conference system,
Means for converting character data to be synthesized with the video of the conference participant into image data,
Means for synthesizing the image data with the video of the conference participant,
Multipoint conference system to have.

A multi-point system in which a plurality of conference terminals and a conference server device are connected via a network, and the conference server device synthesizes video and audio of conference participants received from the plurality of conference terminals and distributes the synthesized video and audio to the plurality of conference terminals. A conference system,
The conference terminal converts character data to be synthesized with the video of the conference participant into bitmap image data, converts the bitmap image data into MPEG1 slice data, and transmits the slice data to the server device;
A multipoint conference system, wherein the server device combines the slice data with MPEG1 slice data of the video of the conference participant and distributes the data to the plurality of conference terminals.

A multi-point system in which a plurality of conference terminals and a conference server device are connected via a network, and the conference server device synthesizes video and audio of conference participants received from the plurality of conference terminals and distributes the synthesized video and audio to the plurality of conference terminals. A conference system,
The conference terminal converts character data to be synthesized with the video of the conference participant into bitmap image data, converts the bitmap image data into MPEG1 slice data, and converts the slice data into the video of the conference participant. Synthesizing with MPEG1 slice data and transmitting to the server device,
A multipoint conference system, wherein the server device distributes the composite video transmitted from the conference terminal to the plurality of conference terminals.

4. The multipoint conference system according to claim 1, wherein the character data to be combined with the video material is converted into image data, and the image data is combined with the video material.

The conference terminal notifies the conference server device of a URL address of the WEB material registered in the WWW server on the network and the conference terminal wants to be shown to other conference participants, and the conference server device notifies the conference server device of the URL address. When a URL address is notified to another conference terminal, and the other conference terminal accesses and displays a WEB material on the WWW server based on the notified URL address, a conference participant of the conference terminal is displayed. The multipoint conference system according to any one of claims 1 to 3, wherein an image indicating that the conference participant has shown the WEB material is combined with the video.

The conference server device registers a URL address of a WEB material registered in a WWW server on a network in a WEB material database, and the URL is a URL address registered in the WEB material database and the conference terminal participates in another conference. The conference server device notifies the conference server device of the URL address of the WEB material that the user wants to show, the conference server device notifies the notified URL address to another conference terminal, and the other conference terminal notifies the notified URL address. When accessing and displaying the web material on the WWW server based on the above, an image indicating that the conference participant has shown the web material is synthesized with the video of the conference participant of the conference terminal. The multipoint conference system according to any one of claims 1 to 3, wherein:

The conference server device further includes a WEB material database in which its own WEB material and its URL address are registered, and a URL when there is a request from the conference terminal to show the WEB material to another conference participant. Means for notifying an address to another conference terminal, wherein when the other conference terminal accesses and displays a web material on the web material database based on the notified URL address, the conference terminal 7. The multi-function apparatus according to claim 1, wherein an image indicating that the conference participant has shown the web material is combined with the video of the conference participant. Point conferencing system.