JP2004350134A - 多地点電子会議システムにおける会議概要把握支援方法、多地点電子会議システム用サーバ、会議概要把握支援プログラム、および該プログラムを記録した記録媒体 - Google Patents

Abstract

【課題】多地点電子会議システムへの中途参加者や、一時退席者が会議の概要（会議の場の雰囲気、会議の痕跡）を知ることができるようにする。
【解決手段】サーバ２においては各クライアントＰＣ１から集められた各種情報（音声、映像、メモ書き、共有資料、共有資料への書き込み、インデックス書き込み等）が蓄積部２３に蓄積された後、会議ダイジェスト、会議概要情報がそれぞれ会議ダイジェスト生成部２４、会議概要情報生成部２５によって生成され、パケットとしてネットワーク部２１よりネットワーク３に送出される。ＰＣ１ではネットワーク管理部１６で受信されたパケットを会議概要情報受信部１５で復号し、会議概要表示部１５２に送信する。会議概要表示部１５２では会議概要情報をディスプレイ１６１に可視化表示する。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
本発明は多地点電子会議システムに関するものである。
【０００２】
【従来の技術】
近年、パーソナルコンピュータベースの電子会議システムによる会議や、ビデオ会議、テレビジョン会議などの多地点電子会議が盛んに行われるようになってきている。こうした電子会議では、参加者が一堂に会する従来の会議とは異なって、欠席者や途中参加者、一時退席者の発生頻度が多くなる傾向が見られる。
【０００３】
なぜならば、パーソナルコンピュータベースの電子会議においては、専用の会議部屋が設けられることなく個人の居室で行われることが大半であるため通常と同様のインタラプト（電話、隣人の話しかけ）などが行われやすい。さらに、インターネットを利用するため、たとえば１０数秒単位で音声や画像のパケット損失が生じたり、またモバイル環境下では回線品質が安定しないため回線の接続と切断を頻繁に繰り返すことが多くなる。会議への定刻の参加が予期もせぬＰＣ自身の不安定性やＯＳの不安定性やソフトの競合、ハードウェアの競合などの現象により、通常の会議のように容易ではない場合があるためである。
【０００４】
このような事象に配慮して、欠席者、途中参加者、一時退席者をサポートする技術が求められている。従来、このような問題に対していくつかの解決策が提案されている。たとえば非特許文献１では、ユーザ不在期間中の発言データを時間およびサイズおよび重要度によって区分けしたブロックに分けてこれらのブロックの組み合わせによってユーザ不在区間のダイジェストを提供することによって問題の解決を試みている。また、特許文献１は、途中から参加する端末に対してその端末が参加するまでの動画像・音声を早送り処理して送信することによって問題の解決を試みている。
【０００５】
【非特許文献１】
川口ら「同期型電子会議へのスムーズな途中参加支援のための一方式」、情報処理学会誌第４２巻１２号、ｐｐ．３０３１−３０４０、２００２年
【特許文献１】
特開２００１−１２８１３３号公報
【０００６】
【発明が解決しようとする課題】
非特許文献１は２つの種類のダイジェスト作成方法を提案しているが、ダイジェストの品質が会議の種類や、参加者の嗜好によって左右されることが文献中で指摘されている。また、利用者に発言権の移動の明示、発言の聴衆の明示、賛同を表す「拍手」などの作業を会議中に必要としている。
【０００７】
特許文献１の発明においては、早送り動画像を流すことにより会議の発言をもらさず聞くことができるが、会議の無駄な部分を聞く必要があり、また長時間の会議時間の場合、早送り処理された動画像・音声をすべて見なければならず、現実に行われている会議にすばやく合流できないという問題がある。
【０００８】
また、両文献とも会議のダイジェストや早送り画像参照中には現実の会議に参加できない、また会議の議長、発言のさかんな人物、主導権を握っている人物、「激しく意見を戦わせている人物がだれか？」などの会議の概略を知ることができないという問題がある。
【０００９】
本発明の目的は、会議への中途参加者や、一時退席者が会議の概要（会議の場の雰囲気、会議の痕跡）を知ることができる、多地点電子会議システムにおける会議概要把握支援方法、多地点電子会議システム用サーバ、会議概要把握支援プログラム、および該プログラムを記録した記録媒体を提供することにある。
【００１０】
【課題を解決するための手段】
本発明の、多地点電子会議システムにおける会議概要把握支援方法は会議中に発生する各参加者のマルチメディア会議データを、メディアおよび参加者毎にランダムアクセス可能な時系列形式で蓄積し、会議進行と同時に、当会議の開始時刻から現時点までの生の該マルチメディア会議データを解析して会議概要情報を抽出し、要求のあったクライアントＰＣに送信する。
【００１１】
本発明の多地点電子会議システム用サーバは、
会議中に発生する各参加者のマルチメディア会議データを、メディアおよび参加者毎にランダムアクセス可能な時系列形式で蓄積する手段と、
会議進行と同時に、当会議の開始時刻から現時点までの生の概マルチメディア会議データを解析して会議概要情報を抽出する手段と、
前記会議概要情報を要求のあったクライアントＰＣに送信する手段を有する。
【００１２】
ここで、マルチメディア会議データは、発話データ、映像データ、テキストデータ、テキストチャットデータ、マウス操作データ、センサデータ、発表資料データ、共有アプリケーションデータ、ホワイトボードデータの少なくとも１種類のデータを含む。
【００１３】
本発明は、会議中に交わされる発話情報、映像情報などや、発話の順番、発話の音程・大きさ・速度、画像中の動き、その他のキーボード入力、マウス入力情報などのあらゆる情報を収集蓄積・解析し、収集蓄積・解析されたデータをもとにダイジェスト会議録を作成し、中途参加者や、一時退席者に提供する。中途参加者、一時退席者は、必要な量のまた重要部分はもれなく押さえた会議のダイジェストを知ることが容易にできる。
【００１４】
また、発話の順番、２者間で交わされた会話の発話時間量などの簡易な統計量を計算し、表示することで、中途参加者や、一時退席者が会議の概要（会議の場の雰囲気、会議の痕跡）を知ることができる。
【００１５】
【発明の実施の形態】
次に、本発明の実施の形態について図面を参照して説明する。
【００１６】
図１は本発明の一実施形態による多地点電子会議システムの構成を、図２はＰＣクライアント１とサーバ２の詳細な構成を示している。
【００１７】
この多地点電子会議システムは複数台のクライアントＰＣ（パーソナルコンピュータ）１と、サーバ２と、これらを互いに接続する、ＬＡＮ（ローカルエリアネットワーク）、インターネットなどのネットワーク３とから構成されている。
【００１８】
まず、クライアントＰＣ１の構成について説明する。
【００１９】
クライアントＰＣ１はユーザ入力部１１と情報送信部１２と映像音声共有資料情報受信部１３とダイジェスト情報受信部１４と会議概要情報受信部１５とネットワーク管理部１６から構成されている。クライアントＰＣ１には、入力装置として、チャット入力・メモ書き（付箋情報）などに用いられるキーボード１０１と、共有資料への書き込みやポインティングなどに使用されるマウス１０２と、会議参加者からの音声情報を入力するマイクロホン１０３と、会議参加者からの映像情報を入力するカメラ１０４とが接続されている。また、クライアントＰＣ３には、出力装置として、映像情報、解析情報、会議概要情報を出力するための液晶表示ディスプレイ、ＣＲＴディスプレイ等のディスプレイ１６１と、音声情報、また音声情報となった会議概要情報を出力するためのスピーカ１６２、ヘッドホン１６３とが接続されている。
【００２０】
ユーザ入力部１１は、キーボード１０１からのキーボード入力信号が入力されるキーボード入力管理部１１１と、マウス１０２からの信号が入力されるマウス入力管理部１１２と、共有資料が入力される共有資料入力管理部１１３を含んでいる。
【００２１】
情報送信部１２は、マイクロホン１０３からの音声信号が入力される音声入力部１２１と、カメラ１０４からの映像信号が入力される映像入力部１２２と、音声信号中における発話部（有音期間）を検出するＶＡＤ（音声アクティビティ検出）部１２３と、画像および音声情報を一時的に蓄積する画像音声一時蓄積部１２４と、会議情報制御（呼制御）、会議の呼制御などを行う呼制御部１２５と、時刻情報を発生する時間管理部１２６と、音声や映像情報、キーボード入力、マウス入力などの符号化を行い、符号化された情報に時刻情報を付与する符号化部１２７を含んでいる。呼制御部１２５ではＳＩＰ（Ｓｅｓｓｉｏｎ Ｉｎｉｔｉａｔｉｏｎ Ｐｒｏｔｏｃｏｌ）などのよく知られたプロトコルを用いることができる。
【００２２】
映像音声共有資料情報受信部１３は、映像表示部１３２と、共有資料表示部１３３と、音声表示部１３４と、ネットワーク管理部１６で受信された内容をＣＯＤＥＣで復号し、映像音声共有資料情報を得、映像表示部１３２、共有資料表示部１３３、音声表示部１３４に送信する復号部１３１を含んでいる。それぞれのＣＯＤＥＣはすでに同業者によく知られている、ＭＰＥＧ４や、Ｔ．１２０、またＧ．７２９などの方法など任意の方法が使用できる。
【００２３】
ダイジェスト情報受信部１４は、映像表示部１４２と、共有資料表示部１４３と、音声表示部１４４と、ネットワーク管理部１６で受信された内容をＣＯＤＥＣで復号し、ダイジェスト情報を得、映像表示部１４２、共有資料表示部１４３、音声表示部１４４に送信する復号部１４１とを含んでいる。音声出力に関しては両方の音声（実時間の会議音声と、ダイジェスト部分の会議音声）の聞きわけを容易にするために、ステレオの左右のチャネルに振り分けて提示するあるいは、音像定位装置などを使って音源を振り分けるなどの方法を用いることが望ましい。
【００２４】
会議情報概要受信部１５は会議概要表示部１５２と、ネットワーク管理部１６で受信された内容をＣＯＤＥＣで復号し、会議概要情報を得、会議概要表示部１５２に送信する復号部１５１とを含んでいる。会議概要情報受信部１５では、時間管理部１２６からのクロックをもとに定期的にサーバ２に問い合わせ、会議概要情報を得る。問い合わせの方法としてはＨＴＴＰ（Ｈｙｐｅｒｔｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）のＧｅｔメソッドなどの従来のよく知られたプロトコルを用いることができる。Ｇｅｔメソッドによってサーバ２から送信されてきたＨＴＭＬ（Ｈｙｐｅｒｔｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）ファイルおよび図面を会議概要表示部１５２で可視化する。可視化の方法としては、従来からよく知られている、一般的なブラウザ（インターネットエキスプローラなど）コンポーネントを使用することができる。可視化される情報としては、各参加者の発話回数、総発話時間、各自の発話時間の時間的な推移、発話密度（一定時間あたりの発言数、発言時間）など、会議の概要をつかむのに必要な情報である。
【００２５】
ネットワーク管理部１６は情報送信部１２内の符号化部１２７で符号化された情報をネットワーク３に送出し、またネットワーク３から情報を受信する。
【００２６】
次に、サーバ２の構成について説明する。
【００２７】
サーバ２は、各クライアントＰＣ１との通信を行うネットワーク通信部２１と、各クライアントＰＣ１からの情報をミックスして再びクライアントＰＣ１に配信する会議情報配信部２２と、各クライアントＰＣ１からの情報を蓄積する蓄積部２３と、蓄積された情報から会議ダイジェスト情報を生成する会議ダイジェスト情報生成部２４と、蓄積された情報から会議概要情報を生成する会議概要情報生成部２５から構成される。
【００２８】
会議情報配信部２２は、各クライアントＰＣ１からの送信された画像、音声、共有資料への書き込み、チャット入力情報などを混合して、再配信する働きをする。これらの仕組みについては、Ｈ．３２０やＴ．１２０に規定してあり、同業者にはよく知られている。また、復号結果（音声情報、映像情報、共有資料情報、メモ書き、チャット入力情報）を蓄積部２３に伝える働きもする。
【００２９】
蓄積部２３は、図３に示すように、音声蓄積部２３１Ａと会議情報蓄積部２３１Ｂと画像蓄積部２３１Ｃとイベント情報蓄積部２３１Ｄと共有資料情報蓄積部２３１Ｅと会議情報管理部２３１Ｆと記憶制御部２３２から構成される。音声情報は記憶制御部２３２により、リニアＰＣＭ形式や、μ−ｌａｗ形式などで音声蓄積部２３１Ａに保存される。ＶＡＤ情報はイベント情報蓄積部２３１Ｄに記録される（この点に関してはあとで説明する）。音声情報は各クライアントＰＣ１の音声を個別に記録し、会議情報管理部２３１ＦよりユニークなＩＤが付与され管理される。画像情報は記憶制御部２３２により、ＭＰＥＧ４やモーションＪＰＥＧ、ＡＶＩ形式などの圧縮形式で画像情報蓄積部２３１Ｃに保存される。各クライアントＰＣの画像は音声情報同様に個別に記録されて、会議情報管理部２３１ＦによりユニークなＩＤが付与され管理される。イベント情報蓄積部２３１Ｄ、会議情報蓄積部２３１Ｂは、会議ごとにひとつのディレクトリを作成し、会議自身のデータ（開催日時、議題、参加者の情報など）、会議の画像、音声などの会議情報を以下のようなファイルのフォーマットで記録する。各クライアントＰＣ１がイベント（会議参加、会議退出、共有資料データ・共有資料への書き込み、共有資料共有開始、ページめくり、マウスイベント、チャット入力、メモ書き、ＶＡＤ情報、センサのイベント）を発生するたびに、時刻管理部１２６からの時刻情報とともに以下のようなフォーマットでイベントを記録していく。
【００３０】
以下、記録フォーマットについて詳細に説明する。
【００３１】
各記録フォーマットでは、各データがコロンで区切られたＣＳＶ（Ｃｏｍｍｏｍ Ｓｅｐａｒａｔｅ Ｖａｌｕｅ）形式で記述されているがこれに限らず、ＸＭＬ（ｅＸｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）形式などほかのフォーマットも使うことができる。
【００３２】
会議情報蓄積部２３１Ｂに蓄積される会議メタデータ記述ファイルでは、会議名、会議題目、参加者の名前と、データベース上でのＩＤとのくくりつけ、会議開始時間、会議終了時間、スライド資料名と、データベース上でのＩＤとのくくりつけ、動画像データファイル名と個人ＩＤとのくくりつけ、音声データファイル名と個人ＩＤとのくくりつけを以下のようなフォーマットで記述する。各データ項目を区別するため“＃”デリミターとして使用されている。
［会議メタデータ記述フォーマット］

スライド記述ファイルでは、どの資料のどのスライドがいつから、どの期間提示されたが記述される。時刻の精度はミリ秒単位で記述される。
［スライドイベント記述フォーマット］

例えば、資料１（ここでは、スライドＩＤは“１”）が１９９８年３月２０日１０時３１分２３．４５０秒から４８．４５０秒提示されたとするならば、

スライドコンテンツ記述ファイルでは、スライドファイル中に含まれるテキストを見出し部と本文に分けてページごとに記述する。
［スライドコンテンツ記述フォーマット］

例えば、スライド資料１（ここではＳｌｉｄｅＩＤは“１”とする）の一ページ目の見出しが「○○に関する会議」で、本文に、“目次、会議目的”という本文が含まれていたとすると下記のように書くことができる。
‥
１，１，“○○に関する会議”，“目次，会議目的”
‥‥‥
チャット記述ファイルでは、チャットにＩＤをつけて個別に「誰が」「どんな内容」を「いつ」送信したかを記述する。時刻の精度はミリ秒単位で記述される。
［チャットイベント記述フォーマット］
ＰｅｒｓｏｎＩＤ， ＣｈａｔＩＤ， ＣｈａｔＴｅｘｔ， Ｔｉｍｅ
例えば、ＰｅｒｓｏｎＩＤが“１”の参加者（ここでは鈴木エリ）が１９９８年３月２０日、１０時３７分４５．０５６秒に「こんにちはー」と送信したとすると、
‥
１，１，“こんにちはー”，１９９８−０３−２０ １０：３７：４５．０５６
‥
と書くことができる。
【００３３】
メモ書き記述ファイルでは、各メモにＩＤをつけて個別に「誰が」「どんな内容」を「いつ」メモをしたかを記述する。時刻の精度はミリ秒単位で記述される。
［メモ書き記述フォーマット］
ＰｅｒｓｏｎＩＤ， ＭｅｍｏＩＤ， ＭｅｍｏＴｅｘｔ， Ｔｉｍｅ
例えば、ＰｅｒｓｏｎＩＤが“１”の参加者（ここでは鈴木エリ）が１９９８年３月２０日、１０時３８分４５．０５６秒に「ここ重要」と入力したとすると、
‥
１，１，“ここ重要”，１９９８−０３−２０ １０：３８：４５．０５６
‥
と書くことができる。
【００３４】
スピーチイベント記述ファイルでは、各発話に対して、ＩＤをつけて個別に「誰が」を「いつ」「どのくらいの期間」発話したかを記述する。時刻の精度はミリ秒単位で記述される。
［スピーチイベント記述フォーマット］

アクションイベント記述ファイルでは、各イベントに対して、「誰が」「いつ」「なにをしたか」を記述する。
【００３５】
イベントの種類としては、会議参加者の動作の記述（会議出席、会議退席、着席、離席、発話開始、発話終了、共有資料共有開始、共有資料共有終了、ページめくり、チャット入力、ダブルクリック、シングルクリック、ドラッグ）を考える。
【００３６】
また、下記のマウスイベントには、座標値も同一レコードに記録する。
【００３７】
ダブルクリック：ダブルクリック時点の共有資料上の座標 （ｘ座標，ｙ座標）
シングルクリック：シングルクリック時点の共有資料上での座標 （ｘ座標，ｙ座標）
ドラッグ：共有資料上のドラッグ時でのマウスカーソルの軌跡の座標 （ｘ座標，ｙ座標）
‥‥
ドラッグの際は、マウスカーソルの位置を定期的に記録するようにする。

このように記録しておくことで、のちの会議概要情報生成や、会議ダイジェスト情報の生成を行うことができる。
【００３８】
次に、会議ダイジェスト情報生成部２４の処理の流れについて図４により説明する。
【００３９】
ステップ２４１で、音声情報から強調度を抽出する。会議ダイジェストの作成方法として、ここでは、日高らによって提案されている方法（日高ら、“音声強調に着目したマルチメディアコンテンツ要約技術”，ＦＩＴ（情報科学技術フォーラム）２００２予稿集，ｐｐ．４３９−４４０．参照）を用いることができる。
【００４０】
この方法では、ユーザは、ダイジェスト要求とともに、トータル時間を指定すれば、再生すべき区間のリストを結果として得ることができる。
【００４１】
ステップ２４２では、上記のリストをもとに、イベント情報蓄積部２３１Ｄ，会議情報蓄積部２３１Ｂに問い合わせ、ダイジェストシナリオの生成を行う。ダイジェストシナリオはダイジェスト生成の際に符号化のされるべきチャット情報やスライド情報、つまり、実際の会議時に区間内に入力されたチャットや提示されたスライドを下記のように列挙したものである。区間内に入力されたチャットのＩＤとスライドのＩＤを上記の会議構造体を操作することで容易に作成することができる。
【００４２】
再生開始時間 再生終了時間 区間内にあったチャットＩＤ列（０回以上） 区間内にあったスライドのＩＤ列

ステップ２４３では、上記のダイジェストシナリオをもとに、映像音声情報、そしてチャット情報、およびスライド情報をそれぞれの蓄積部から取り出して、ステップ２４４で符号化する。これまでと同様に、会議ダイジェストの符号化は既存のプロトコルを用いることができる。こうすることによって、過去のダイジェスト記録を参照しながら、現在の会議に参加することができる。
【００４３】
もちろん上記ダイジェスト情報生成の方法としては、他の方法を用いることもできる。またダイジェスト情報を生成せずに、任意時間からの会議蓄積データを会議ダイジェスト符号化部に送信し、過去の任意の発言を振り返りながら、現在の会議に参加することも可能である。
【００４４】
次に、会議概要情報生成部２５について図５を用いて説明する。会議概要情報とは、各参加者の発話回数、総発話時間、各自の発話時間の時間的な推移、発話密度（一定時間あたりの発言数、発言時間）など、会議の概要をつかむのに必要な統計的な情報である。
【００４５】
ステップ２５１では、イベント情報蓄積部２３１Ｄ、会議情報蓄積部２３１Ｂに集められた、部分集合Ｃｈａｔ、部分集合Ｓｐｅｅｃｈの情報から、各自の発言時間、発言回数、ある一定時間ごと（例えば一分）の各自の発話時間、その発話密度（発言数、発言時間）、発話権の遷移回数などを集計する。
【００４６】
発話権の参加者間の遷移回数は下に示されるような処理で集計することができる。ここでは発話権の遷移は、ある参加者Ａから参加者Ｂへの発話権の遷移は「ある参加者Ａが話終わったあとに、参加者Ｂが話し始める」ことと定義する。
１．初期化（発話権遷移集計２次元配列初期化）
２．部分集合Ｓｐｅｅｃｈ読み取り
３．１つ目のＰｅｒｓｏｎＩＤ、ＴｉｍｅＳｔａｍｐｓ、ＳｐｅｅｃｈＤｕｒａｔｉｏｎを読み取り
４．次のＰｅｒｓｏｎＩＤ、ＴｉｍｅＳｔａｍｐｓ、ＳｐｅｅｃｈＤｕｒａｔｉｏｎを読み取り代入
（ＮｅｘｔＰｅｒｓｏｎＩＤ， ＮｅｘｔＴｉｍｅＳｔａｍｐｓ， ＮｅｘｔＳｐｅｅｃｈＤｕｒａｔｉｏｎ）
５．ＮｅｘｔＴｉｍｅＳｔａｍｐｓ ＜ ＴｉｍｅＳｔａｍｐｓ＋ＳｐｅｅｃｈＤｕｒａｔｉｏｎ？ Ｙｅｓ 以下の処理、Ｎｏ ８へ
６．Ｍ（ＰｅｒｓｏｎＩＤ， ＮｅｘｔＰｅｒｓｏｎＩＤ）＝Ｍ（ＰｅｒｓｏｎＩＤ， ＮｅｘｔＰｅｒｓｏｎＩＤ）＋１
７．ＴｉｍｅＳｔａｍｐｓ＝ＮｅｘｔＴｉｍｅＳｔａｍｐｓ， ＳｐｅｅｃｈＤｕｒａｔｉｏｎ＝ＮｅｘｔＳｐｅｅｃｈＤｕｒａｔｉｏｎ
８．残りデータはあるか？ Ｙｅｓ：４へ、Ｎｏ ９
９．終了
集計された数値は、ステップ２５２で、グラフィックイメージとして生成され、またステップ２５３でＨＴＭＬ文中に埋め込まれる。このための方法は同業者にとってよく知られた方法を用いることができる。
【００４７】
クライアントＰＣ１からのＧｅｔメソッドを契機として、生成されたＨＴＭＬ文書がステップ２５４で符号化されて送信され、クライアントＰＣ１側では、会議概要情報を閲覧することができる。
【００４８】
以上のような会議音声動画共有資料、イベント情報蓄積、会議ダイジェスト情報生成、会議概要情報生成を行ったことにより、各蓄積部にはそれぞれの情報が蓄積されるとともに、クライアントＰＣ３の表示装置上には、実時間の会議情報のみならず、ダイジェスト情報および会議概要情報、イベント情報などの各種情報が一覧形式で表示される。図６は蓄積された各種情報を一覧するためのブラウジングツールの一例を示している。このブラウジングツール画面は、会議参加者のクライアントＰＣ１の表示装置の画面上に表示されるものである。すなわち、多地点の音声情報・画像情報・チャット情報・共有資料情報、会議ダイジェスト情報、会議概要情報からの出力に応じて表示される画面を示している。このように複数の出力を組み合わせてクライアントＰＣ１の画面上に表示させる技術自体は動画像を含むウェブページを動的に作成する方法あるいは、そのようなウェブページを表示する方法としてよく知られている。
【００４９】
表示画面は多地点会議表示部、会議ダイジェスト情報表示部、概要情報表示部に分かれている。
【００５０】
多地点会議表示部では、各クライアントから送信されてくる顔画像、そしてチャットテキストそして各自の「メモ書き」（インデックス）が表示され、また、会議中の共有資料について表示する。
【００５１】
ダイジェスト情報表示部では、多地点会議表示部同様、各クライアントの顔画像、チャットテキスト、共有資料のみならず、各自の発話状況を一覧できるような音声バー表示部をもうける。音声バー表示部において、横軸は時間情報をあらわしており、ひし形のマークは現在再生している場所を表している。音声バーはＳｐｅｅｃｈイベントを元に表示され、そのタイミングでその参加者の音声発話が存在していることを表している。また最下部には、いわゆるスクロールバーが表示され、またタイムカーソルも操作し、会議の開催中の任意の時刻を選んでそこから会議を再生することができるようになっている。またタイムカーソルの縮尺も自由に変更でき、その音声バーの表示状況から、時間あたりの発話数や、よく発話する人の特定などが容易にできるようになる。
【００５２】
また、それまでの会議ダイジェストの要求時間を入力できるようになっており、時間を入力して、ダイジェスト要求ボタンを押下することにより、ダイジェスト映像・音声・共有資料・チャットが送信されてくる。また、横の音声バーでどこを再生しているのか、表示するためどこでどの程度要約されているのか、知ることができ、さらにそのダイジェストで再生されなかった発言を参照する際の助けともなる。
【００５３】
会議概要情報表示部では、図７に示すように、各自の単位時間当たりの発話時間、各個人の発話時間、発話回数、単位時間あたりの発話時間の重なり時間、発話権の各個人間の遷移回数を表示する。遷移回数の表示は各話者を頂点とする無向グラフ辺の太さとして表している。発話権の各個人間の遷移回数は、経路の太さで表現される。無向グラフの表示方法は同業者に知られた方法がある（例えば、Ｇｉｕｓｅｐｐｅ Ｄｉ Ｂａｔｔｉｓｔａら、“Ｇｒａｐｈ Ｄｒａｗｉｎｇ： Ａｌｇｏｒｉｔｈｍｓ ｆｏｒ ｔｈｅ ｖｉｓｕａｌｉｚａｔｉｏｎ ｏｆ ｇｒａｐｈｓ”，Ｐｒｅｎｔｉｃｅ Ｈａｌｌ，１９９９．）。直感的にどの参加者の間で、さかんに会話がなされているのかが把握できる。
【００５４】
次に、本実施形態の動作を説明する。
【００５５】
この多地点電子会議システムでは、各クライアントＰＣ１に接続された入力装置から入力されたそれぞれのモダリティの情報は、クライアントＰＣ１を介してネットワーク３に送出され、サーバ２に到着する。サーバ２では、それぞれの情報をそのサーバ２に接続された外部記憶装置に蓄積するとともに、映像・音声・チャット入力・マウスによる共有資料への書き込み情報およびポインティング情報については、サーバ２上でミキシングして再び各クライアントＰＣ１に送出する。また、映像・音声・チャット入力・メモ書き・マウスによる書き込み情報、解析・統計的処理の結果も各クライアント１に送出される。
【００５６】
まず、クライアントＰＣ１の信号の流れから説明する。
【００５７】
マイクロホン１０３からの音声信号は、音声入力部１２１で適度に増幅された後、ＶＡＤ部１２３に入力される。ＶＡＤ部１２３は、音声の発話状態を監視しており、音声発話を検出すると、符号化部１２７に対して指令を送り、符号化部１２７における音声の詳細な符号化を開始させる。音声信号については音声の発話が行われている間だけ、詳細な符号化が行われる。これは一般的に携帯電話やＶｏ／ＩＰなどの分野で行われているネットワーク帯域の節約のために行われている方法である。また、発話検出の技術としては、これまでにもさまざまなものが知られており、ここでも、携帯電話やＶｏ／ＩＰなどの分野で実装されている一般的な技術を使うことができる。
【００５８】
一方、カメラ１０４からの入力は、映像入力部１２２を通して、画像音声蓄積部１２４に一時的に蓄積された後、符号化部１２７で符号化される。画像符号化の方法としては、ＭＰＥＧ４や、モーションＪＰＥＧ、Ｈ．２６１、Ｈ．２６３などの一般的な符号化方法を用いることができる。カメラ１０４として、ＵＳＢカメラやＤＶカメラ、ＩＥＥＥ１３９４接続カメラなどの一般的なカメラを使用することができる。また、マウス入力についても同様に、マウスの移動量およびマウスボタンのクリックの状態がマウス入力管理部１１２に入力される。マウス入力管理部１１２はマウス移動の相対量および現在のマウスカーソルの位置から画面上のポインティングされているピクセルの画素座標を算出し、これをマウス座標値（ピクセル値）として出力する。また、マウス１０２におけるボタン入力は、ボタンの押すタイミングなどから、クリックやダブルクリックなどの状態に判別されて、マウス入力管理部１１２から出力される。この場合、ピクセル値（マウス座標値）は符号化部１２７に常時送信され、キーボード入力についてもキーボード入力管理部１１１からの入力をそのまま符号化部１２７に送るようになっている。もっとも、クライアントＰＣ１に仮名漢字変換機能が備えられており、この仮名漢字変換機能を用いたキーボード入力があった場合には、クライアントＰＣ１内部の辞書を参照して仮名漢字変換した結果が符号化されるようにする。チャット入力、メモ書きや、マウス入力送受信、共有資料送受信については従来より用いられているＴ．１２０などのプロトコルを用いることができる。
【００５９】
また、符号化部１２７は入力された情報を符号化するとともに、時間管理部１２６からの時刻情報を参照してこの符号化された情報に時刻情報を付与する。ネットワーク管理部２６は符号化された情報を適当にバッファリングしながらパケット化してネットワーク３に送出する。低遅延化のために音声・画像のパケット化の際にはＵＤＰ（Ｕｓｅｒ Ｄａｔａｇｒａｍ Ｐｒｏｔｏｃｏｌ）を用いることが望ましい。
【００６０】
ネットワーク３に送出されたデータは、サーバ２のネットワーク部２１で受信され、蓄積部２３に蓄積される。音声情報、画像情報については、送信しながら、クライアントＰＣ１にも蓄えるように構成してもよい。サーバ２においては各クライアントＰＣ１から集められた各種情報（音声、映像、メモ書き、共有資料、共有資料への書き込み、インデックス書き込み等）が蓄積部２３に蓄積された後、会議ダイジェスト、会議概要情報がそれぞれ会議ダイジェスト生成部２４、会議概要情報生成部２５によって生成され、パケットとしてネットワーク部２１よりネットワーク３に送出される。なお、会議終了後にクライアントＰＣ１に蓄積された音声・画像情報をサーバ蓄積部２３に送信するように構成すると、実時間の会議においてのネットワーク３に起因する画像・音声の品質劣化要因（（ＵＤＰ使用の場合）パケット落ち、ネットワーク３の帯域による画像品質、音声品質の制限）を回避することができ、会議終了後にあらためて会議を解析・参照する際に、より高品質な画像・音声データを用いることができる。
【００６１】
次に、クライアントＰＣ１側の受信信号の流れについて説明する。
【００６２】
サーバ２からネットワーク３を通じて流れてきたパケットはネットワーク管理部１６で受け取られ、そのパケットは、バッファ（不図示）に一時的に蓄積されネットワーク符号化に対して、復号される。復号結果は、あて先に応じて、映像音声共有資料情報受信部１３、会議ダイジェスト情報受信部１４、会議概要情報受信部１５にそれぞれ送出される。
【００６３】
映像音声共有資料情報受信部１３では、ネットワーク管理部１６で受け取られた内容をそれぞれのＣＯＤＥＣで復号し、それぞれ画像情報表示部１２３２、共有情報表示部１３３、音声出力部１３４に送信する。また、会議ダイジェスト情報受信部１４でも同様に、内容をそれぞれのＣＯＤＥＣで復号し、それぞれ画像表示部１４２、共有資料表示部１４３、音声情報出力部１４４に送信する。会議概要情報受信部１５でも内容（会議概要情報）をＣＯＤＥＣで復号し、会議概要表示部１５２に送信する。会議概要表示部１５２では会議概要情報を前述したようにディスプレイ１６１に可視化表示する。
【００６４】
なお、サーバおよびクライアントＰＣの機能は専用のハードウェアにより実現されるもの以外に、その機能を実現するためのプログラムを、コンピュータ読取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行するものであってもよい。コンピュータ読取り可能な記録媒体とは、フロッピーディスク、光磁気ディスク、ＣＤ−ＲＯＭ等の記録媒体、コンピュータシステムに内蔵されるハードディスク装置等の記憶装置を指す。さらに、コンピュータ読取り可能な記録媒体は、インターネットを介してプログラムを送信する場合のように、短時間の間、動的にプログラムを保持するもの（伝送媒体もしくは伝送波）、その場合のサーバとなるコンピュータシステム内の揮発性メモリのように、一定時間プログラムを保持しているものも含む。
【００６５】
【発明の効果】
以上説明したように、本発明によれば、途中参加者、一時退席者は容易に、必要な量のまた重要部分はもれなく押さえた会議のダイジェストを知ることができ、また、過去の会議の様子を参照しながら、会議に参加できる。また、発話の順番、発話回数、発話時間、２者間で交わされた会話の発話時間量などの簡易な統計量を計算し表示することで、中途参加者や、一時退席者が会議の概要（会議の場の雰囲気、会議の痕跡）を知ることができる。
【図面の簡単な説明】
【図１】本発明の一実施形態による多地点電子会議システムのブロック図である。
【図２】クライアントＰＣの構成図である。
【図３】サーバＰＣの蓄積部の概要図である。
【図４】サーバＰＣのダイジェスト情報生成部の処理の流れを示す図である。
【図５】サーバＰＣの会議概要情報生成部の処理の流れを示す図である。
【図６】会議可視化ＧＵＩの一構成例を示す図である。
【図７】会議可視化ＧＵＩの他の構成例を示す図である。
【符号の説明】
１ クライアントＰＣ
２ サーバ
３ ネットワーク
１１ ユーザ入力部
１２ 情報送信部
１３ 映像音声共有資料情報情報受信部
１４ ダイジェスト情報受信部
１５ 会議概要情報受信部
１６ ネットワーク管理部
２１ ネットワーク部
２２ 会議情報配信部
２３ 蓄積部
２４ 会議ダイジェスト生成部
２５ 会議概要情報生成部
１０１ キーボード
１０２ マウス
１０３ マイクロホン
１０４ カメラ
１１１ キーボード入力管理部
１１２ マウス入力管理部
１１３ 共有資料入力管理部
１２１ 音声入力部
１２２ 映像入力部
１２３ ＶＡＤ部
１２４ 画像音声一時蓄積部
１２５ 呼制御部
１２６ 時間管理部
１２７ 符号化部
１３１ 復号部
１３２ 映像表示部
１３３ 共有資料表示部
１３４ 音声表示部
１４１ 復号部
１４２ 映像表示部
１４３ 共有資料表示部
１４４ 音声表示部
１５１ 復号部
１５２ 会議概要表示部
１６１ ディスプレイ
１６２ スピーカ
１６３ ヘッドホン
２３１Ａ 音声蓄積部
２３１Ｂ 会議情報蓄積部
２３１Ｃ 映像蓄積部
２３１Ｄ イベント情報蓄積部
２３１Ｅ 共有資料情報蓄積部
２３１Ｆ 会議情報管理部
２３２ 記憶制御部
２４１〜２４４、２５１〜２５４ ステップ

Claims (7)

1. ネットワークを経由して行われる多地点電子会議システムにおいて、
   会議中に発生する各参加者のマルチメディア会議データを、メディアおよび参加者毎に、ランダムアクセス可能な時系列形式で蓄積し、会議進行と同時に、当会議の開始時刻から現時点までの生の該マルチメディア会議データを解析して会議概要情報を抽出し、要求のあったクライアントＰＣに送信する、多地点電子会議システムにおける会議概要把握支援方法。
2. 前記マルチメディア会議データは、発話データ、映像データ、テキストチャットデータ、マウス操作データ、センサデータ、発表資料データ、共有アプリケーションデータ、ホワイトボードデータの少なくとも１種類のデータを含む、請求項１に記載の方法。
3. 前記会議概要情報として、各参加者の発話時間、発話回数、話者間発話権遷移回数、チャットテキスト、インデックスの少なくとも１種類のデータを含むである、請求項２に記載の方法。
4. 発話の話速または音程または音量により算出される盛上り度が一定の閾値以上の区間を抽出する、請求項１から３のいずれかに記載の方法。
5. ネットワークを経由して行われる多地点電子会議システムに用いられるサーバにおいて、
   会議中に発生する各参加者のマルチメディア会議データを、メディアおよび参加者毎に、ランダムアクセス可能な時系列形式で蓄積する手段と、
   会議進行と同時に、当会議の開始時刻から現時点までの生のマルチメディア会議データを解析して会議概要情報を抽出する手段と、
   前記会議概要情報を要求のあったクライアントＰＣに送信する手段を有することを特徴とする多地点電子会議システム用サーバ。
6. 請求項１から４のいずれかに記載の会議概要把握支援方法をコンピュータに実行させるための会議概要把握支援プログラム。
7. 請求項６に記載の会議概要把握支援プログラムを記録した、コンピュータ読取り可能な記録媒体。

Images