JP2006302047A - 会議支援プログラム、会議支援装置、および会議支援方法 - Google Patents

Abstract

【課題】複数の会議場間で行われる遠隔会議において、遠隔地の会議場の盛り上がりの度合いを把握することを容易化する。
【解決手段】会議支援装置１０は、会議場Ａにおける参加者の動作を表す動作情報を取得し、取得された動作情報に基づき会議場Ａにおける発言動作を認識し、この認識結果に基づいて会議場Ａの盛り上がりの度合いを示す会議場活性度を算出し、算出された会議場活性度を会議場Ｂの参加者に提示する。
【選択図】図１

Description

本発明は、会議を支援するための会議支援プログラム、会議支援装置、および会議支援方法に関する。

特許文献１には、人物画像認識技術を用いて会議参加者を一人一人認識することにより、認識した人物のプロフィールをディスプレイに表示するテレビ会議装置が開示されている。

また、特許文献２には、画面に表示される会議参加者の映像が切り換えられた場合にも、参加者の映像に対応して個人情報も表示できる多地点テレビ会議装置が開示されている。

特開平６−１２１３１０号公報 特開平９−２７１００６号公報

ところで、テレビ会議を初めとするビデオ会議においては、遠隔地の会議場の状況を伝える情報がその瞬間の映像と音声情報に限られているため、遠隔地の会議場の盛り上がりの度合いを把握することが困難である。また、ビデオ会議に限らず、１箇所の会議場で行われるローカルな会議でも、例えば会議に途中から参加した場合、その会議の盛り上がりの度合いを把握することは困難である。また、遠隔会議においてもローカルな会議においても、各参加者の会議への参加度合いを把握することは容易でない。

そこで、本発明は、遠隔地の会議場の盛り上がりの度合い、会議の盛り上がりの度合い、または各参加者の会議への参加度合いを把握することを容易化する会議支援プログラム、会議支援装置、および会議支援方法を提供する。

本発明に係る会議支援プログラムは、複数の会議場間で行われる遠隔会議を支援するための会議支援プログラムであって、コンピュータを、ある会議場における参加者の動作を表す動作情報を取得する動作情報取得手段、当該動作情報取得手段により取得された動作情報に基づき前記ある会議場における発言動作を認識し、この認識結果に基づいて前記ある会議場の盛り上がりの度合いを示す会議場活性度を算出する活性度算出手段、および、当該活性度算出手段により算出された会議場活性度を、前記ある会議場とは別の会議場の参加者に提示する活性度提示手段、として機能させることを特徴とする。

本発明の好適な態様では、前記活性度提示手段は、現在の遠隔会議における前記ある会議場の会議場活性度とともに、当該遠隔会議と一連の会議をなす過去の遠隔会議における前記ある会議場の会議場活性度を提示する。

また、本発明の好適な態様では、前記活性度算出手段は、前記動作情報に基づき前記ある会議場における各参加者の発言動作を認識し、この認識結果に基づいて、前記会議場活性度に加えてまたはこれに代えて、前記ある会議場の各参加者の会議への参加度合いを示す参加者活性度を算出し、前記活性度提示手段は、前記会議場活性度に加えてあるいはこれに代えて、またはこれと選択的に、前記算出された参加者活性度を前記別の会議場の参加者に提示する。

また、本発明の好適な態様では、コンピュータを、前記ある会議場の映像の入力を受け付ける映像入力手段、および、当該映像入力手段に入力された映像に映っている参加者を認識する参加者認識手段、としてさらに機能させ、前記活性度提示手段は、前記参加者認識手段により一人の参加者が認識された場合には、当該参加者の前記参加者活性度を前記映像とともに前記別の会議場に設置された表示画面上に表示させ、それ以外の場合には、前記会議場活性度を前記映像とともに前記表示画面上に表示させる。

本発明に係る会議支援プログラムは、コンピュータを、会議における参加者の動作を表す動作情報を取得する動作情報取得手段、当該動作情報取得手段により取得された動作情報に基づき会議における発言動作を認識し、この認識結果に基づいて会議の盛り上がりの度合いを示す会議活性度を算出する活性度算出手段、および、当該活性度算出手段により算出された会議活性度を会議の参加者に提示する活性度提示手段、として機能させることを特徴とする。

本発明の好適な態様では、前記活性度提示手段は、現在の会議の会議活性度とともに、当該会議と一連の会議をなす過去の会議の会議活性度を提示する。

また、本発明の好適な態様では、前記活性度算出手段は、前記動作情報に基づき会議における各参加者の発言動作を認識し、この認識結果に基づいて、前記会議活性度に加えてまたはこれに代えて、各参加者の会議への参加度合いを示す参加者活性度を算出し、前記活性度提示手段は、前記会議活性度に加えてあるいはこれに代えて、またはこれと選択的に、前記算出された参加者活性度を会議の参加者に提示する。

また、本発明の好適な態様では、コンピュータを、会議の映像の入力を受け付ける映像入力手段、および、当該映像入力手段に入力された映像に映っている参加者を認識する参加者認識手段、としてさらに機能させ、前記活性度提示手段は、前記参加者認識手段により一人の参加者が認識された場合には、当該参加者の前記参加者活性度を前記映像とともに会議用の表示画面上に表示させ、それ以外の場合には、前記会議活性度を前記映像とともに前記表示画面上に表示させる。

本発明に係る会議支援装置は、複数の会議場間で行われる遠隔会議を支援する会議支援装置であって、ある会議場における参加者の動作を表す動作情報を取得する動作情報取得手段と、当該動作情報取得手段により取得された動作情報に基づき前記ある会議場における発言動作を認識し、この認識結果に基づいて前記ある会議場の盛り上がりの度合いを示す会議場活性度を算出する活性度算出手段と、当該活性度算出手段により算出された会議場活性度を、前記ある会議場とは別の会議場の参加者に提示する活性度提示手段と、を有することを特徴とする。

また、本発明に係る会議支援装置は、会議における参加者の動作を表す動作情報を取得する動作情報取得手段と、当該動作情報取得手段により取得された動作情報に基づき会議における発言動作を認識し、この認識結果に基づいて会議の盛り上がりの度合いを示す会議活性度を算出する活性度算出手段と、当該活性度算出手段により算出された会議活性度を会議の参加者に提示する活性度提示手段と、を有することを特徴とする。

本発明に係る会議支援方法は、複数の会議場間で行われる遠隔会議を支援する会議支援方法であって、ある会議場における参加者の動作を表す動作情報を取得する動作情報取得ステップと、当該動作情報取得ステップで取得された動作情報に基づき前記ある会議場における発言動作を認識し、この認識結果に基づいて前記ある会議場の盛り上がりの度合いを示す会議場活性度を算出する活性度算出ステップと、当該活性度算出ステップで算出された会議場活性度を、前記ある会議場とは別の会議場の参加者に提示する活性度提示ステップと、を有することを特徴とする。

また、本発明に係る会議支援方法は、会議における参加者の動作を表す動作情報を取得する動作情報取得ステップと、当該動作情報取得ステップで取得された動作情報に基づき会議における発言動作を認識し、この認識結果に基づいて会議の盛り上がりの度合いを示す会議活性度を算出する活性度算出ステップと、当該活性度算出ステップで算出された会議活性度を会議の参加者に提示する活性度提示ステップと、を有することを特徴とする。

本発明によれば、遠隔地の会議場の盛り上がりの度合い、会議の盛り上がりの度合い、または各参加者の会議への参加度合いを把握することを容易化する会議支援プログラム、会議支援装置、および会議支援方法を提供することができる。

以下、本発明の実施の形態を図面に従って説明する。

［第１の実施の形態］
図１は、本実施の形態に係る会議支援装置１０の基本的な構成を示すブロック図である。この会議支援装置１０は、地理的に離れた複数の会議場間で行われる遠隔会議を支援するものであり、多地点間で通信回線を介して映像や音声等の情報を送受する電子会議システム（特にビデオ会議システム）に好適に用いられるものである。

会議支援装置１０は、例えば、１台または相互にネットワーク接続された複数台のコンピュータにより実現され、その機能は、ＲＯＭ等の記憶媒体に格納された本実施の形態に係る会議支援プログラムがＣＰＵにより実行されることによって実現される。ただし、会議支援装置１０は、専用のハードウェア回路等、他の構成により実現されてもよい。図１において、会議支援装置１０は、動作情報取得部１０ａ、活性度算出部１０ｂ、および活性度提示部１０ｃを有する。

動作情報取得部１０ａは、遠隔会議における複数の会議場のうちある会議場Ａにおける参加者の動作を表す動作情報を取得する。具体的には、動作情報取得部１０ａは、会議場Ａに設置されたビデオカメラ、マイクロフォン、電子白板等の入力デバイス１から、参加者が映された映像情報、参加者の音声が捕捉された音声情報、電子白板により検出されたペン入力座標情報といった動作情報を取得する。

活性度算出部１０ｂは、動作情報取得部１０ａにより取得された動作情報に基づき上記ある会議場Ａにおける発言動作を認識し、この認識結果に基づいて当該ある会議場Ａの盛り上がりの度合い（会議場Ａの会議への参加度合いとも言える）を示す会議場活性度を算出する。また、活性度算出部１０ｂは、上記動作情報に基づき上記ある会議場Ａにおける各参加者の発言動作を認識し、この認識結果に基づいて会議場Ａの各参加者の会議への参加度合いを示す参加者活性度を算出する。

ここで、上記の発言動作とは、意見や情報を他者に伝える動作をいい、例えば、言葉を声で発する動作や、文字や図形等を書く動作などである。上記の会議場活性度としては、会議場における発言動作の量（回数、時間等）、会議場における単位時間当たりの発言動作の量、発言動作を行った参加者の人数などがある。また、上記の参加者活性度としては、各参加者の発言動作の量（回数、時間）や、各参加者の単位時間当たりの発言動作の量などがある。

活性度提示部１０ｃは、活性度算出部１０ｂにより算出された会議場活性度および参加者活性度を上記ある会議場Ａとは別の会議場Ｂの参加者に提示する。具体的には、活性度提示部１０ｃは、会議場Ｂに設置された比較的大型の共用ディスプレイ、比較的小型の個人用ディスプレイ、またはスピーカ等の出力デバイス２に、会議場活性度や参加者活性度を示す画像情報等を出力させる。活性度提示部１０ｃは、会議場活性度および参加者活性度を同時に提示してもよいし、状況に応じて一方を選択的に提示してもよい。

図２は、本実施の形態に係る会議支援装置１０の基本的な動作手順を示すフローチャートである。以下、図２に従って、会議支援装置１０の動作について説明する。動作情報取得部１０ａは、入力デバイス１から、当該入力デバイス１により検出された会議場Ａにおける参加者の動作を表す動作情報を取得し、この動作情報を活性度算出部１０ｂに渡す（Ｓ１１）。活性度算出部１０ｂは、動作情報取得部１０ａから受け取った動作情報に基づき会議場Ａにおける各参加者の発言動作を認識する（Ｓ１２）。そして、この認識結果に基づいて会議場活性度および参加者活性度を算出して活性度提示部１０ｃに渡す（Ｓ１３）。活性度提示部１０ｃは、活性度算出部１０ｂから受け取った会議場活性度および参加者活性度を、適宜のタイミングで出力デバイス２に出力させ、これにより会議場Ｂの参加者に会議場Ａの会議場活性度および参加者活性度を提示する（Ｓ１４）。上記のステップＳ１１からＳ１４までの処理は、会議の開始から終了まで継続的に行われる。

以上のとおり、本実施の形態では、遠隔会議において、ある会議場における参加者の動作を表す動作情報を取得し、この動作情報に基づき当該ある会議場における発言動作を認識し、この認識結果に基づいて当該ある会議場の盛り上がりの度合いを示す会議場活性度を算出し、この会議場活性度を当該ある会議場とは別の会議場の参加者に提示する。このため、本実施の形態によれば、遠隔地の会議場の盛り上がりの度合いを把握することが容易になる。特に、会議の議長による多地点の会議場の盛り上がり度合いの把握を容易化でき、議長の議事進行作業を支援することができる。これにより、会議の議長は、会議の目的に応じて、多地点の参加者が適切な参加が出来ているか否かを容易に把握することができる。例えば、会議の議長は、ある会議場の会議場活性度が低い場合には、その会議場の参加者に発言を促すことができる。これにより、遠隔地の会議場の参加者の満足度を向上させることができる。

また、本実施の形態では、動作情報に基づき当該ある会議場における各参加者の発言動作を認識し、この認識結果に基づいて上記ある会議場の各参加者の会議への参加度合いを示す参加者活性度を算出し、この参加者活性度を上記別の会議場の参加者に提示する。このため、本実施の形態によれば、遠隔地の会議場の各参加者の会議への参加度合いを把握することが容易になる。

図３は、本実施の形態に係る会議支援装置１０のより具体的な構成の一例を示すブロック図である。以下、図３に従って、会議支援装置１０の構成について、より具体的に説明する。図３において、会議支援装置１０は、送信側装置１１、サーバ装置１２、および受信側装置１３を含んで構成されている。サーバ装置１２は、送信側装置１１および受信側装置１３とネットワークを介して接続されている。

送信側装置１１は、会議場Ａに設置されたコンピュータであり、映像・音声入力部１１ａ、映像・音声処理部１１ｂ、白板情報入力部１１ｃ、発言動作認識部１１ｄ、および参加状況登録部１１ｅを備えている。

映像・音声入力部１１ａは、ビデオカメラ１ａから会議場Ａの映像データの入力を受け付け、マイクロフォン１ｂから会議場Ａの音声データの入力を受け付ける。ここで、会議場Ｂには会議場Ａのビデオカメラ１ａを遠隔操作するためのカメラ操作装置（不図示）が設置されており、会議場Ｂの参加者は、このカメラ操作装置を操作することにより、ビデオカメラ１ａの撮影範囲を変更することができる。例えば、会議場Ｂの参加者は、ズームイン操作により会議場Ａの参加者のうち特定の一人の参加者を映すことができ、ズームアウト操作により会議場Ａの複数の参加者や会議場Ａ全体を映すことができる。

映像・音声処理部１１ｂは、映像・音声入力部１１ａに入力された映像・音声データを、所定の通信処理等を施した上でサーバ装置１２に送信する。

白板情報入力部１１ｃは、会議場Ａに設置された電子白板１ｃから、ペン入力座標データと、記入者を特定するための記入者特定用データとの入力を受け付ける入力インタフェースである。ここで、ペン入力座標データは、電子白板１ｃの筆記面上におけるペンの位置座標であり、電子白板１ｃのペン入力座標検出機能により検出される。また、記入者特定用データは、例えば、電子白板１ｃに設けられたリーダ装置により読み取られた、参加者に携帯される非接触ＩＣタグのＩＤ番号である。

発言動作認識部１１ｄは、映像・音声入力部１１ａに入力された映像・音声データおよび白板情報入力部１１ｃに入力されたデータに基づいて、会議場Ａにおける参加者の発言動作を認識する。具体的には、発言動作認識部１１ｄは、音声認識技術を用いて音声データから、または画像認識技術を用いて映像データから参加者の口の動きを認識して、一まとまりの（１回の）発言を識別するとともに、その発言の発言開始時刻、発言終了時刻、および発言者を認識する。また、発言動作認識部１１ｄは、ペン入力座標データと記入者特定用データとに基づいて、一まとまりのペン記入動作を識別するとともに、その記入者を認識する。

参加状況登録部１１ｅは、会議場Ａの会議への参加状況を示す参加状況情報をサーバ装置１２に送信して登録する。この参加状況情報には、発言動作認識部１１ｄの認識結果と、会議場Ａの現在の参加者数と、会議場Ａの各参加者の資料提示数とが含まれる。

具体的には、参加状況登録部１１ｅは、発言動作認識部１１ｄによって一まとまりの発言動作が認識される度に、その発言動作を発言動作記録としてサーバ装置１２に登録していく。より具体的には、一まとまりの発言が認識される度に、当該発言の発言開始時刻、発言終了時刻、および発言者を発言記録として登録していく。また、一まとまりのペン記入動作が識別される度に、当該ペン記入動作の記入者を記入記録として登録していく。

また、参加状況登録部１１ｅは、会議場Ａの現在の参加者数をサーバ装置１２に登録する。ここで、会議場Ａの現在の参加者数は、適宜の手段により認識可能であり、例えば、画像認識技術を用いて映像データから認識されてもよいし、適宜のユーザインタフェースを介して入力される各参加者の会議場Ａへの入場／退場操作から認識されてもよい。

さらに、参加状況登録部１１ｅは、会議場Ａの各参加者の資料提示数をサーバ装置１２に登録する。ここで、各参加者の資料提示数とは、資料表示用のディスプレイ（不図示）に表示された当該参加者の資料の数であり、当該ディスプレイの画面を制御する画面制御装置から参加状況登録部１１ｅに通知される。

サーバ装置１２は、送信側装置１１から受信側装置１３への情報の伝達を中継する役割、および各種情報を記憶する役割を果たすコンピュータである。このサーバ装置１２は、映像・音声転送部１２ａ、参加状況ＤＢ１２ｂ、個人情報ＤＢ１２ｃ、および履歴情報ＤＢ１２ｄを備えている。

映像・音声転送部１２ａは、送信側装置１１の映像・音声処理部１１ｂから映像・音声データを受信し、受信側装置１３に転送する。

参加状況ＤＢ１２ｂは、送信側装置１１の参加状況登録部１１ｅから参加状況情報を受信し、記憶するデータベースである。

個人情報ＤＢ１２ｃは、各参加者の個人情報を記憶するデータベースであり、ここでは個人情報として、氏名、所属、専門分野、特許出願実績、技術メモ、論文、担当顧客、参加プロジェクト、参加タスク、および個人ホームページのＵＲＬを記憶している。

履歴情報ＤＢ１２ｄは、過去の会議における各会議場の参加状況を示す参加状況履歴情報を記憶するデータベースである。なお、参加状況履歴情報の内容については後述する。

受信側装置１３は、会議場Ｂに設置されたコンピュータであり、映像・音声生成部１３ａ、映像・音声出力部１３ｂ、映像認識部１３ｃ、提示情報生成部１３ｄ、および提示情報表示部１３ｅを備えている。

映像・音声生成部１３ａは、サーバ装置１２の映像・音声転送部１２ａから映像・音声データを受信し、所定の通信処理等を施し、出力用の映像・音声データを生成する。

映像・音声出力部１３ｂは、映像・音声生成部１３ａにより生成された映像データを会議場Ｂに設置された大型のディスプレイ２ａに表示させ、音声データを会議場Ｂに設置されたスピーカ２ｂに出力させる。

映像認識部１３ｃは、画像認識技術を用いて、映像・音声生成部１３ａにより生成された映像データに基づき、会議場Ａの映像に映っている参加者を認識する。

提示情報生成部１３ｄは、映像認識部１３ｃの認識結果に応じて、会議場Ｂの参加者に提示すべき情報を生成する。

映像認識部１３ｃにより一人の参加者が認識された場合には、提示情報生成部１３ｄは、提示すべき情報として、当該認識された参加者個人の情報である参加者情報を生成する。具体的には、参加状況ＤＢ１２ｂから、当該参加者の発言動作記録を読み出し、読み出された情報に基づいて当該参加者の参加者活性度を算出する。ここでは、発言記録の数をカウントして発言数を算出し、各発言記録に含まれる発言開始／終了時刻に基づいて発言時間を算出し、記入記録の数をカウントしてペン記入数を算出し、得られた（発言数、発言時間、ペン記入数）の組を参加者活性度とする。さらに、提示情報生成部１３ｄは、参加状況ＤＢ１２ｂから当該参加者の資料提示数を読み出し、個人情報ＤＢ１２ｃから当該参加者の個人情報を読み出す。そして、提示情報生成部１３ｄは、参加者活性度、資料提示数、および個人情報を含む情報を参加者情報とする。ここで、参加者情報のうち、参加者活性度および資料提示数は動的な情報と言え、個人情報は静的な情報と言える。

一方、上記以外の場合には、例えば複数人の参加者が認識された場合や一人も認識されなかった場合には、提示情報生成部１３ｄは、提示すべき情報として、会議場Ａの情報である会議場情報を生成する。具体的には、参加状況ＤＢ１２ｂから、会議場Ａの参加者全員分の発言動作記録を読み出し、読み出された情報に基づいて会議場Ａの会議場活性度を算出する。ここでは、発言記録の数をカウントして総発言数を算出し、各発言記録に含まれる発言開始／終了時刻に基づいて総発言時間を算出し、記入記録の数をカウントして総ペン記入数を算出し、得られた（総発言数、総発言時間、総ペン記入数）の組を会議場活性度とする。さらに、提示情報生成部１３ｄは、参加状況ＤＢ１２ｂから会議場Ａの参加者全員分の資料提示数を読み出し、読み出された資料提示数を合計して総資料提示数を算出する。また、参加状況ＤＢ１２ｂから会議場Ａの参加人数を読み出す。また、履歴情報ＤＢ１２ｄから、現在行われている遠隔会議と一連の会議をなす過去の遠隔会議における会議場Ａの参加状況を示す参加状況履歴情報を読み出す。ここでは、前回および前々回の参加状況履歴情報を読み出す。そして、提示情報生成部１３ｄは、会議場活性度、総資料提示数、参加人数、および前回・前々回の参加状況履歴情報を含む情報を会議場情報とする。ここで、会議場情報のうち、会議場活性度、総資料提示数、および参加者数は動的な情報と言え、前回・前々回の参加状況履歴情報は静的な情報と言える。

提示情報表示部１３ｅは、提示情報生成部１３ｄにより生成された提示情報（参加者情報または会議場情報）をディスプレイ２ａに表示させる。ここで、参加者情報または会議場情報は、ディスプレイ２ａ上で数字や文字で表現されてもよいが、参加度合いの直感的な把握を可能にする観点より、図形や多色表現によるグラフィカルな態様で表現されることが好ましい。そこで、提示情報表示部１３ｅは、参加者情報または会議場情報から、図４のようなグラフィカルな画面データを生成する。図４では、提示情報表示部１３ｅは、参加人数、総発言数、総ペン記入数、および総資料提示数を、それぞれ数の大きさに応じた多段階（例えば３段階）マーク表示に変換している。さらに、提示情報表示部１３ｅは、総発言数、総ペン記入数、および総資料提示数から、所定の規則に従って会議場Ａの総合的な盛り上がり度合いを特定し、この総合的な盛り上がり度合いに応じて画面の背景色を、赤→黄→青といった具合に多段階（例えば３段階）に切り替える。

図５は、送信側装置１１の動作手順を示すフローチャートである。以下、図５に従って、送信側装置１１の動作について説明する。

映像・音声入力部１１ａは、ビデオカメラ１ａ、マイクロフォン１ｂから会議場Ａの映像・音声データの入力を受け、入力された映像・音声データを映像・音声処理部１１ｂおよび発言動作認識部１１ｄに渡す（Ｓ２１）。

白板情報入力部１１ｃは、電子白板１ｃからペン入力座標データおよび記入者特定用データの入力を受け、入力されたデータを発言動作認識部１１ｄに渡す（Ｓ２２）。

映像・音声処理部１１ｂは、映像・音声入力部１１ａから受けた映像・音声データをサーバ装置１２経由で受信側装置１３に送信する（Ｓ２３）。

発言動作認識部１１ｄは、映像・音声入力部１１ａからの映像・音声データから会議場Ａの各参加者の発言を認識するとともに、白板情報入力部１１ｃからのデータから会議場Ａの各参加者の記入動作を認識し、認識結果を参加状況登録部１１ｅに渡す（Ｓ２４）。

参加状況登録部１１ｅは、発言動作認識部１１ｄからの認識結果に基づいて、発言記録または記入記録をサーバ装置１２の参加状況ＤＢ１２ｂに登録する（Ｓ２５）。また、参加状況登録部１１ｅは、図５には示されていないが適宜のタイミングで、会議場Ａの参加者数および各参加者の資料提示数を登録する。

上記のステップＳ２１からＳ２５までの処理は、会議の開始から終了まで継続的に行われる。したがって、会議場Ａの映像・音声データは、継続的に受信側装置１３に送られる。また、会議場Ａの各参加者の発言動作は、継続的に認識され、発言記録または記入記録として参加状況ＤＢ１２ｂに登録され蓄積されていく。また、参加状況ＤＢ１２ｂに保持される会議場Ａの参加者数および各参加者の資料提示数は、随時更新される。

図６は、サーバ装置１２の動作手順を示すフローチャートである。以下、図６に従って、サーバ装置１２の動作について説明する。サーバ装置１２は、送信側装置１１から発言動作記録等の参加状況情報を受信すると（Ｓ３１：ＹＥＳ）、この参加状況情報を参加状況ＤＢ１２ｂに格納する（Ｓ３２）。この処理は、会議が終了するまで継続的に行われる（Ｓ３３：ＮＯ）。そして、会議が終了すると（Ｓ３３：ＹＥＳ）、サーバ装置１２は、参加状況ＤＢ１２ｂに格納されている参加状況情報から参加状況履歴情報を作成し、この参加状況履歴情報を履歴情報ＤＢ１２ｄに保存する（Ｓ３４）。具体的には、サーバ装置１２は、参加状況ＤＢ１２ｂに登録されている発言記録の数をカウントして総発言数を算出し、各発言記録に含まれる発言開始／終了時刻に基づいて総発言時間を算出し、記入記録の数をカウントして総ペン記入数を算出し、各参加者の資料提示数を合計して総資料提示数を算出する。そして、サーバ装置１２は、算出された総発言数、総発言時間、総ペン記入数、および総資料提示数と、参加状況ＤＢ１２ｂに登録されている参加者数とを、参加状況履歴情報として履歴情報ＤＢ１２ｂに保存する。

図７は、受信側装置１３の動作手順を示すフローチャートである。以下、図７に従って、受信側装置１３の動作について説明する。

映像・音声生成部１３ａは、送信側装置１１からサーバ装置１２経由で、映像・音声データを受信し、映像・音声出力部１３ｂおよび映像認識部１３ｃに渡す（Ｓ４１）。

映像・音声出力部１３ｂは、映像・音声生成部１３ａからの映像データを会議場Ｂのディスプレイ２ａに表示させるとともに、音声データを会議場Ｂのスピーカ２ｂに出力させる（Ｓ４２）。これにより、会議場Ｂの参加者は、会議場Ａの映像および音声をリアルタイムに知覚することができる。ここでは、映像・音声出力部１３ｂは、図８に示されるように、ディスプレイ２ａの中央の表示領域に会議場Ｂの映像を表示させる。図８において、左側の図は複数の参加者が映っている場合を示し、右側の図は一人の参加者が映っている場合を示している。

映像認識部１３ｃは、映像・音声生成部１３ａからの映像データに基づき、会議場Ａの映像に映っている参加者を認識し、認識結果を提示情報生成部１３ｄに渡す（Ｓ４３）。

提示情報生成部１３ｄは、映像認識部１３ｃからの認識結果に基づき、会議場Ａの映像に一人の参加者だけが映っているか否かを判断する（Ｓ４４）。

そして、一人の参加者だけが映っていると判断された場合（Ｓ４４：ＹＥＳ）、提示情報生成部１３ｄは、先述したとおりに、当該認識された参加者の参加者活性度、資料提示数、および個人情報を含む参加者情報を生成し、この参加者情報を提示情報表示部１３ｅに渡す（Ｓ４５）。

一方、そうでないと判断された場合（Ｓ４４：ＮＯ）、提示情報生成部１３ｄは、先述したとおりに、会議場Ａの会議場活性度、総資料提示数、参加人数、および前回・前々回の参加状況履歴情報を含む会議場情報を生成し、この会議場情報を提示情報表示部１３ｅに渡す（Ｓ４６）。

提示情報表示部１３ｅは、提示情報生成部１３ｄからの参加者情報または会議場情報に対して表示レイアウト処理および表現変換処理を施し、参加者情報または会議場情報をグラフィカルに表す画面データを生成し、この画面データを会議場Ｂのディスプレイ２ａに表示させる（Ｓ４７）。ここでは、提示情報表示部１３ｅは、図８に示されるように、会議場Ａの映像の周囲に参加者情報または会議場情報を配置する。

ここで、ディスプレイ２ａに複数の参加者や会議場全体が映っている場合、図８の左図のように映像の周囲には会議場情報が表示される。これにより、会議場Ｂの参加者は、会議場Ａの複数参加者や会議場Ａ全体の映像とともに会議場Ａの現在の参加状況および過去の参加状況を把握することができる。

一方、ディスプレイ２ａに一人の参加者が映っている場合、図８の右図のように映像の周囲には当該参加者の参加者情報が表示される。これにより、会議場Ｂの参加者は、会議場Ａの一人の参加者の映像とともに当該参加者の現在の参加状況や個人情報を把握することができる。

以上のとおり、本構成例では、ビデオ会議システムの映像情報と、会議場情報または参加者情報とを組み合わせて表示させる。このため、遠隔地の会議場や参加者の映像を見ながら、その会議場や参加者の参加度合い等を把握することができる。

また、本構成例では、映像に映っている参加者を認識し、一人の参加者が認識された場合には当該参加者の参加者情報を映像とともに表示させ、それ以外の場合には会議場情報を映像とともに表示させる。このため、映像に対応した情報を得ることができる。

また、現在の会議場の参加状況情報とともに過去の参加状況履歴情報を提示する。このため、現在の参加状況と過去の参加状況とを同時に把握することができ、過去の参加状況との比較で現在の参加状況が妥当か否かを判断することができる。

また、参加者の個人情報が提示されるので、参加者の氏名、立場、役割、専門領域、得意分野等を会議中に把握することが可能となる。これにより、自己紹介の時間や会議中の余談の時間を低減することができる。また、参加者個人の情報を理解する時間を低減できるので、議題に集中して会議時間を効果的に使用できる。参加者の専門知識を把握した上で議論するため、議論の質が向上し、的確な質疑応答が行われる。

［第２の実施の形態］
図９は、本実施の形態に係る会議支援装置２０の基本的な構成を示すブロック図である。この会議支援装置２０は、会議の盛り上がり度合いを提示するものである。ここでは、会議支援装置２０を１箇所の会議場で行われるローカルな会議に適用した場合を例にとって説明する。なお、会議支援装置２０は上記会議支援装置１０と多くの部分で共通するので、以下の説明では、記載の重複を避けるため共通する部分については説明を省略する。

図９において、会議支援装置２０は、動作情報取得部２０ａ、活性度算出部２０ｂ、および活性度提示部２０ｃを有する。

動作情報取得部２０ａは、会議場に設置された入力デバイス３から、会議における参加者の動作を表す動作情報を取得する。

活性度算出部２０ｂは、動作情報取得部２０ａにより取得された動作情報に基づき会議における発言動作を認識し、この認識結果に基づいて会議の盛り上がりの度合い（参加者全員の会議への参加度合いとも言える）を示す会議活性度を算出する。また、活性度算出部２０ｂは、動作情報に基づき会議における各参加者の発言動作を認識し、この認識結果に基づいて各参加者の会議への参加度合いを示す参加者活性度を算出する。ここで、上記の会議活性度としては、会議における発言動作の量（回数、時間等）、会議における単位時間当たりの発言動作の量、発言動作を行った参加者の人数などがある。

活性度提示部２０ｃは、活性度算出部２０ｂにより算出された会議活性度および参加者活性度を会議の参加者に提示する。具体的には、活性度提示部２０ｃは、会議場に設置された出力デバイス４に、会議活性度や参加者活性度を示す画像情報等を出力させる。

図１０は、本実施の形態に係る会議支援装置２０の基本的な動作手順を示すフローチャートである。以下、図１０に従って、会議支援装置２０の動作について説明する。動作情報取得部２０ａは、入力デバイス３から会議における参加者の動作を表す動作情報を取得し、この動作情報を活性度算出部２０ｂに渡す（Ｓ５１）。活性度算出部２０ｂは、動作情報取得部２０ａから受け取った動作情報に基づき会議における各参加者の発言動作を認識する（Ｓ５２）。そして、この認識結果に基づいて会議活性度および参加者活性度を算出して活性度提示部２０ｃに渡す（Ｓ５３）。活性度提示部２０ｃは、活性度算出部２０ｂから受け取った会議活性度および参加者活性度を出力デバイス４に出力させ、これにより参加者に会議活性度および参加者活性度を提示する（Ｓ５４）。上記のステップＳ５１からＳ５４までの処理は、会議の開始から終了まで継続的に行われる。

以上のとおり、本実施の形態では、会議における参加者の動作を表す動作情報を取得し、この動作情報に基づき会議における発言動作を認識し、この認識結果に基づいて会議の盛り上がりの度合いを示す会議活性度を算出し、この会議活性度を参加者に提示する。このため、本実施の形態によれば、会議全体の盛り上がり度合いを把握することが容易になる。特に、会議に途中から参加した場合であっても、その会議の盛り上がり度合いを短時間で把握することができる。

また、本実施の形態では、動作情報に基づき会議における各参加者の発言動作を認識し、この認識結果に基づいて各参加者の会議への参加度合いを示す参加者活性度を算出し、この参加者活性度を参加者に提示する。このため、本実施の形態によれば、各参加者の会議への参加度合いを把握することが容易になる。

図１１は、本実施の形態に係る会議支援装置２０のより具体的な構成の一例を示すブロック図である。図１２は、本構成例に係る会議支援装置２０の動作手順を示すフローチャートである。以下、図１１、１２に従って、本構成例に係る会議支援装置２０の構成および動作を併せて説明する。

会議支援装置２０は、例えば会議場に設置されたコンピュータであり、図１１に示されるように、映像・音声入力部２１、映像・音声出力部２２、白板情報入力部２３、発言動作認識部２４、参加状況登録部２５、参加状況ＤＢ２６ａ、個人情報ＤＢ２６ｂ、履歴情報ＤＢ２６ｃ、映像認識部２７、提示情報生成部２８、および提示情報表示部２９を備えている。

映像・音声入力部２１は、会議場に設置されたビデオカメラ３ａ、マイクロフォン３ｂから会議の映像・音声データの入力を受け付ける（Ｓ６１）。

映像・音声出力部２２は、映像・音声入力部２１に入力された映像・音声データを、会議場に設置されたディスプレイ４ａ、スピーカ４ｂに出力させる（Ｓ６２）。

白板情報入力部２３は、会議場に設置された電子白板３ｃから、ペン入力座標データと記入者特定用データとの入力を受け付ける（Ｓ６３）。

発言動作認識部２４は、映像・音声入力部２１に入力された映像・音声データおよび白板情報入力部２３に入力されたデータに基づいて、会議における各参加者の発言動作を認識する（Ｓ６４）。

参加状況登録部２５は、参加者全員の会議への参加状況を示す参加状況情報を参加状況ＤＢ２６ａに登録する（Ｓ６５）。ここで、参加状況情報には、上記第１の実施の形態と同様に、発言動作記録（発言記録または記入記録）、現在の参加者数、および各参加者の資料提示数が含まれる。

映像認識部２７は、映像・音声入力部２１に入力された映像データに基づき、会議の映像に映っている参加者を認識する（Ｓ６６）。

提示情報生成部２８は、映像認識部２７により一人の参加者が認識されたか否かを判断する（Ｓ６７）。

一人の参加者が認識されたと判断された場合（Ｓ６７：ＹＥＳ）、提示情報生成部２８は、当該認識された参加者の参加者情報を生成する（Ｓ６８）。この参加者情報は、上記第１の実施の形態と同様に生成され、参加者活性度、資料提示数、および個人情報を含む。

一方、それ以外の場合（Ｓ６７：ＮＯ）、提示情報生成部２８は、会議全体の情報である会議情報を生成する（Ｓ６９）。具体的には、提示情報生成部２８は、参加状況ＤＢ２６ａに登録されている参加者全員分の発言動作記録に基づき会議活性度を算出する。ここでは、提示情報生成部２８は、上記第１の実施の形態と同様に、（総発言数、総発言時間、総ペン記入数）の組を算出して会議活性度とする。さらに、提示情報生成部２８は、参加状況ＤＢ２６ａに登録されている参加者全員分の資料提示数を合計して総資料提示数を算出する。また、参加状況ＤＢ２６ａから会議の参加人数を読み出す。また、履歴情報ＤＢ２６ｃから、現在の会議と一連の会議をなす過去の会議の参加状況を示す参加状況履歴情報を読み出す。ここでは、前回および前々回の参加状況履歴情報を読み出す。そして、提示情報生成部２８は、会議活性度、総資料提示数、参加人数、および前回・前々回の参加状況履歴情報を含む情報を会議情報とする。

提示情報表示部２９は、提示情報生成部２８により生成された提示情報（参加者情報または会議情報）を、上記第１の実施の形態と同様にグラフィカルな態様でディスプレイ４ａに表示させる（Ｓ７０）。

上記のステップＳ６１からステップＳ７０までの処理は、会議が終了するまで継続的に行われる（Ｓ７１：ＮＯ）。そして、会議が終了すると（Ｓ７１：ＹＥＳ）、会議支援装置２０は、参加状況ＤＢ２６ａに格納されている参加状況情報から参加状況履歴情報を作成し、この参加状況履歴情報を履歴情報ＤＢ２６ｃに保存する（Ｓ７２）。具体的には、会議支援装置２０は、参加状況ＤＢ２６ａに登録されている発言記録の数をカウントして総発言数を算出し、各発言記録に含まれる発言開始／終了時刻に基づいて総発言時間を算出し、記入記録の数をカウントして総ペン記入数を算出し、各参加者の資料提示数を合計して総資料提示数を算出する。そして、会議支援装置２０は、算出された総発言数、総発言時間、総ペン記入数、および総資料提示数と、参加状況ＤＢ２６ａに登録されている参加者数とを、参加状況履歴情報として履歴情報ＤＢ２６ｃに保存する。

以上のとおり、本構成例では、会議の映像情報と、会議情報または参加者情報とを組み合わせて表示させる。このため、会議場や参加者の映像を見ながら、その会議の盛り上がり度合いや参加者の参加度合い等を把握することができる。

また、映像に映っている参加者を認識し、一人の参加者が認識された場合には、当該参加者の参加者情報を映像とともに表示させ、それ以外の場合には、会議情報を映像とともに表示させる。このため、映像に対応した情報を得ることができる。

また、現在の参加状況情報とともに過去の参加状況履歴情報を提示する。このため、現在の参加状況と過去の参加状況とを同時に把握することができ、過去の参加状況との比較で現在の参加状況が妥当か否かを判断することができる。

なお、本発明は、上記実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々変更することができる。例えば、上記第１の実施の形態では会議場活性度および参加者活性度を算出して提示することとしたが、いずれか一方を算出して提示してもよい。同様に、上記第２の実施の形態では会議活性度および参加者活性度を算出して提示することとしたが、いずれか一方を算出して提示してもよい。また、上記実施の形態では、電子白板からのデータに基づいてペン記入動作とその記入者を認識することとしたが、画像認識技術を用いて映像データから認識してもよい。また、上記第２の実施の形態に係る会議支援装置２０は、遠隔会議にも適用可能である。この場合、例えば、動作情報取得部２０ａは各会議場に設置された入力デバイスから動作情報を取得し、活性度提示部２０ｃは各会議場に設置された出力デバイスに会議活性度または参加者活性度を出力する。

第１の実施の形態に係る会議支援装置の基本的な構成を示すブロック図である。 第１の実施の形態に係る会議支援装置の基本的な動作手順を示すフローチャートである。 第１の実施の形態に係る会議支援装置のより具体的な構成の一例を示すブロック図である。 グラフィカルな画面の一例を示す図である。 送信側装置の動作手順を示すフローチャートである。 サーバ装置の動作手順を示すフローチャートである。 受信側装置の動作手順を示すフローチャートである。 会議室Ｂに設置されたディスプレイの画面を示す図である。 第２の実施の形態に係る会議支援装置の基本的な構成を示すブロック図である。 第２の実施の形態に係る会議支援装置の基本的な動作手順を示すフローチャートである。 第２の実施の形態に係る会議支援装置のより具体的な構成の一例を示すブロック図である。 構成例に係る会議支援装置の動作手順を示すフローチャートである。

符号の説明

１０，２０ 会議支援装置、１０ａ，２０ａ 動作情報取得部、１０ｂ，２０ｂ 活性度算出部、１０ｃ，２０ｃ 活性度提示部。

Claims (12)

1. 複数の会議場間で行われる遠隔会議を支援するための会議支援プログラムであって、コンピュータを、
   ある会議場における参加者の動作を表す動作情報を取得する動作情報取得手段、
   当該動作情報取得手段により取得された動作情報に基づき前記ある会議場における発言動作を認識し、この認識結果に基づいて前記ある会議場の盛り上がりの度合いを示す会議場活性度を算出する活性度算出手段、および、
   当該活性度算出手段により算出された会議場活性度を、前記ある会議場とは別の会議場の参加者に提示する活性度提示手段、
   として機能させることを特徴とする会議支援プログラム。
2. 請求項１に記載の会議支援プログラムであって、
   前記活性度提示手段は、現在の遠隔会議における前記ある会議場の会議場活性度とともに、当該遠隔会議と一連の会議をなす過去の遠隔会議における前記ある会議場の会議場活性度を提示することを特徴とする会議支援プログラム。
3. 請求項１または２に記載の会議支援プログラムであって、
   前記活性度算出手段は、前記動作情報に基づき前記ある会議場における各参加者の発言動作を認識し、この認識結果に基づいて、前記会議場活性度に加えてまたはこれに代えて、前記ある会議場の各参加者の会議への参加度合いを示す参加者活性度を算出し、
   前記活性度提示手段は、前記会議場活性度に加えてあるいはこれに代えて、またはこれと選択的に、前記算出された参加者活性度を前記別の会議場の参加者に提示することを特徴とする会議支援プログラム。
4. 請求項３に記載の会議支援プログラムであって、
   コンピュータを、
   前記ある会議場の映像の入力を受け付ける映像入力手段、および、
   当該映像入力手段に入力された映像に映っている参加者を認識する参加者認識手段、
   としてさらに機能させ、
   前記活性度提示手段は、前記参加者認識手段により一人の参加者が認識された場合には、当該参加者の前記参加者活性度を前記映像とともに前記別の会議場に設置された表示画面上に表示させ、それ以外の場合には、前記会議場活性度を前記映像とともに前記表示画面上に表示させることを特徴とする会議支援プログラム。
5. コンピュータを、
   会議における参加者の動作を表す動作情報を取得する動作情報取得手段、
   当該動作情報取得手段により取得された動作情報に基づき会議における発言動作を認識し、この認識結果に基づいて会議の盛り上がりの度合いを示す会議活性度を算出する活性度算出手段、および、
   当該活性度算出手段により算出された会議活性度を会議の参加者に提示する活性度提示手段、
   として機能させることを特徴とする会議支援プログラム。
6. 請求項５に記載の会議支援プログラムであって、
   前記活性度提示手段は、現在の会議の会議活性度とともに、当該会議と一連の会議をなす過去の会議の会議活性度を提示することを特徴とする会議支援プログラム。
7. 請求項５または６に記載の会議支援プログラムであって、
   前記活性度算出手段は、前記動作情報に基づき会議における各参加者の発言動作を認識し、この認識結果に基づいて、前記会議活性度に加えてまたはこれに代えて、各参加者の会議への参加度合いを示す参加者活性度を算出し、
   前記活性度提示手段は、前記会議活性度に加えてあるいはこれに代えて、またはこれと選択的に、前記算出された参加者活性度を会議の参加者に提示することを特徴とする会議支援プログラム。
8. 請求項７に記載の会議支援プログラムであって、
   コンピュータを、
   会議の映像の入力を受け付ける映像入力手段、および、
   当該映像入力手段に入力された映像に映っている参加者を認識する参加者認識手段、
   としてさらに機能させ、
   前記活性度提示手段は、前記参加者認識手段により一人の参加者が認識された場合には、当該参加者の前記参加者活性度を前記映像とともに会議用の表示画面上に表示させ、それ以外の場合には、前記会議活性度を前記映像とともに前記表示画面上に表示させることを特徴とする会議支援プログラム。
9. 複数の会議場間で行われる遠隔会議を支援する会議支援装置であって、
   ある会議場における参加者の動作を表す動作情報を取得する動作情報取得手段と、
   当該動作情報取得手段により取得された動作情報に基づき前記ある会議場における発言動作を認識し、この認識結果に基づいて前記ある会議場の盛り上がりの度合いを示す会議場活性度を算出する活性度算出手段と、
   当該活性度算出手段により算出された会議場活性度を、前記ある会議場とは別の会議場の参加者に提示する活性度提示手段と、
   を有することを特徴とする会議支援装置。
10. 会議における参加者の動作を表す動作情報を取得する動作情報取得手段と、
    当該動作情報取得手段により取得された動作情報に基づき会議における発言動作を認識し、この認識結果に基づいて会議の盛り上がりの度合いを示す会議活性度を算出する活性度算出手段と、
    当該活性度算出手段により算出された会議活性度を会議の参加者に提示する活性度提示手段と、
    を有することを特徴とする会議支援装置。
11. 複数の会議場間で行われる遠隔会議を支援する会議支援方法であって、
    ある会議場における参加者の動作を表す動作情報を取得する動作情報取得ステップと、
    当該動作情報取得ステップで取得された動作情報に基づき前記ある会議場における発言動作を認識し、この認識結果に基づいて前記ある会議場の盛り上がりの度合いを示す会議場活性度を算出する活性度算出ステップと、
    当該活性度算出ステップで算出された会議場活性度を、前記ある会議場とは別の会議場の参加者に提示する活性度提示ステップと、
    を有することを特徴とする会議支援方法。
12. 会議における参加者の動作を表す動作情報を取得する動作情報取得ステップと、
    当該動作情報取得ステップで取得された動作情報に基づき会議における発言動作を認識し、この認識結果に基づいて会議の盛り上がりの度合いを示す会議活性度を算出する活性度算出ステップと、
    当該活性度算出ステップで算出された会議活性度を会議の参加者に提示する活性度提示ステップと、
    を有することを特徴とする会議支援方法。

Images