JP2011081504A - 会議支援システムおよびプログラム - Google Patents

Abstract

【課題】会議の進行状況を総合的に評価して議事進行を行う会議支援システムを提供する。
【解決手段】各種センシング部で会議の良さの指標となる盛上り度および変化度の検出を行い（304、305）、それらとスケジュールの進行状況を用いて時間生産性指標を算出する（306）。また、時間生産性指標の状況に基づいて議事の変更判断等のフィードバックを行う（309）。更に、フィードバックの際には、時間生産性指標の変動予測を行って、議事の変更判断がなされる少し前から予兆を含めた提示を行う。フィードバックの提示は、映像、音声、照明、空調等を総合的用いて行う。
【選択図】図３

Description

本発明は、会議や打ち合わせにおける対話状況や進行状況をモニタリングし、参加者に情報を報知することによって、議事進行を補助する技術に関する。

会議支援、特に、遠隔会議を支援するための技術として、会議の状況をモニタリングする技術がある。例えば、特許文献１では、遠隔会議を支援するため、動作情報を取得して盛上り度を算出し、遠隔サイトに状況を伝える発明が述べられている。

また、会議の状況を自動的にモニタリングして情報提供を行う技術として、特許文献２では、会議の種別（プレゼン、質疑応答、ブレインストーミング等）を発言の重なり状況に基づき判別し、それぞれに適した情報を提示する方法が述べられている。

また、会議のスケジューリングに関する技術として、特許文献３では、会議の議事進行状況をボタンで入力することで、あらかじめ入力しておいたスケジュールを変更する方法が述べられている。

特開2006-302047号公報 特開2006-302045号公報 特開2007-043493号公報

上記で述べた従来の技術では、会議の盛上り度の算出や種別の判別を行うことは可能であっても、それを用いた議事進行の管理はできなかった。この理由は、議事進行の管理を行うには、単に状態を検知判別して参加者や司会者に知らせるだけでは不十分だからである。もし、参加者が、会議の盛上り度や判別結果を知らされたとしても、それを用いて具体的によい会議を行うためにどのように進行すればよいか、参加者は判断しづらいことが多い。

また、特許文献３の議事進行に関する状況入力による再スケジューリングを行う技術においても、議事の内容と関連する情報提示を行うのみで、議事進行の機能はない。また、議題がスケジュールどおりに進行していても必ずしも良い会議とは限らない。例えば、ある議題の討論で盛上っている場合には、多少の遅延があっても打ち切らずに継続すべき場合も多い。

以上のことから、議事進行の管理するためには、会議の進行状況を総合的に評価する「良さ」のリアルタイムな評価量と、その評価量に基づいて会議をよい方向に導くためのフィードバックの方法が必要となる。

本発明の目的は、会議の進行状況を総合的にリアルタイムに評価する評価量と、この評価量に基づき会議をよい方向に導くためのフィードバックを行う会議支援システムおよびそのプログラムを提供することにある。

上記の目的を達成するため、本発明においては、複数の参加者による会議の進行状況をセンシングにより把握して結果をフィードバックする会議支援システムであって、センシングを行う複数のセンシング部と、複数のセンシング部から出力されるセンシング信号を処理する処理部と、処理部の処理結果に基き、情報提示を行う情報提示部を備え、処理部は、センシング信号に基づき、会議の時間生産性を算出し、算出した時間生産性を用いて、情報提示部に情報提示を行うことにより会議進行を支援する構成の会議支援システム、及び会議支援プログラムを提供する。

また、上記の目的を達成するため、本発明においては、処理部は、算出した時間生産性に基き、情報提示部からの情報提示として、会議の参加者全員または一部に、議事の変更もしくは会議の終了を促す会議支援システム、会議支援プログラムを提供する。

更に、上記の目的を達成するため、本発明においては、処理部は、時間生産性の時間変化を予測して、情報提示部からの情報提示として事前の予兆を与える会議支援システム、会議支援プログラムを提供する。

また更に、参加者が指示を入力可能な入力部を更に有し、処理部は、情報提示部からの情報提示の結果、入力部から参加者の指示を受付、受け付けた指示によって、時間生産性に基く情報提示の基準を変更する会議支援システム、会議支援プログラムを提供する。

すなわち、上記の目的を解決するため、本発明では、会議の進行状況の良さの評価指標として、時間ごとの生産性（以下、「時間生産性」）の指標を導入し、その指標の時系列変化の状況に基づいたフィードバックを行うことを特徴とする。

本発明の会議支援システムにおける、好適な処理手順の一例は以下のとおりである。
（１）各種センシング手段によって、会議の良さの指標として会議参加者の盛上り度および変化度の検出を行う。
（２）議事の進行状況と事前スケジュールの対比によって遅延状況を算出し、（１）で算出した量と併せて、会議の時間生産性を評価する。
（３）（２）の評価結果に基づき、時間生産性の時間変化から、議題や会議そのものの継続／打切りを含む変更判断やその時期の予測を行う。
（４）（３）の判断結果に基づいて、変更予測時刻の少し前から予兆を含むフィードバックを行う。
また、本発明では、より好適な態様として、フィードバックの結果を受けた会議参加者からの再フィードバック入力を可能として、それによって推薦判断の内容を変更する機能を持つ。

本発明によれば、各種センシング手段で会議の良さの指標、例えば、盛上り度および変化度の検出を行うことで、精度よく会議の状況推定ができる。

また、予定のスケジュールと現状との対比含めた、時間生産性という観点で評価することで、議事の変更や会議の打ち切り等の判断を行うことができる。

また、継続／打ち切り時刻の予測を行うことで、必要時刻になる以前から、予兆を与えることができ、スムーズな議事進行が可能となる。

さらに、会議参加者からの再フィードバックによって推薦判断の内容を変更する手段を持つことで、終了を促すフィードバックの敏感さ等の特性を学習によって変更することができる。

各実施例が適用される会議場の構成要素の一例を示した説明図である。 各実施例のシステムのハードウェア構成の一例を示すブロック図である。 第１の実施例の処理全体の手順を示すフローチャートを示す図である。 実施例１に係る、盛上り度の算出手順を示すフローチャートを示す図である。 実施例１に係る、変化度の算出手順を示すフローチャートを示す図である。 実施例１に係る、議題変更判定の説明図である。 実施例１に係る、スケジュール、進行状況、遅れ、盛上り度、変化度、および時間生産性のデータの一例を模式的に示した図である。 実施例１に係る、進行役または参加者に提示する生産性評価結果画面を例示した図である。 実施例２の変更判定予測と予兆提示を用いた処理全体の手順を示すフローチャートを示す図である。 実施例３のユーザからの再フィードバックで学習を行う機能をもたせた処理全体の手順を示すフローチャートを示す図である。 実施例３に係る、ユーザからの再フィードバックによる生産性係数変更に関する説明図である。

以下、本発明を実施するための各種の実施例を図面に従い説明する。まず、本発明の会議支援システムが実行される構成の一例を説明する。なお、以下の説明において、「装置」を「手段」や「部」と呼び変えて記載する場合がある。例えば、各種のセンシングを行う「センシング装置」を「センシング手段」、「センシング部」のように記載する場合がある点に留意されたい。

図１は、各実施例が適用される議場の構成要素を示した図である。図１に示すように、複数人で会議を行っているシーンにおいて、各会議参加者101から、装着した加速度センサ102、マイク103、カメラ104にて、体動、音声、映像などをセンシング信号、センシング情報として収集する。加速度センサ102あるいは図示を省略した対面センサは名札等を用いて各ユーザが装着する。なお、これらの各種センシング手段、センシング部は、どれか一つだけでも運用が可能である。

また、在席センサ105にて人数把握を行う。ユーザが赤外線で識別子（ID）を投射する名札を装着し、在席センサがそれを読み取る等の機能を持っている場合には、ユーザごとの出席状況や時間帯の把握が可能となり、さらに正確な人数把握ができる。なお、在席センサは必須ではなく、なくても運用可能である。

進行役106の側には、キーボードやマウスやボタン等の入力手段107にて、進行役による会議議題の進行状況などが入力可能である。

また、各種のフィードバックとしての情報提示を行うための情報提示部として、全員に映像情報を提示するプロジェクタか大画面ディスプレイなどの全員表示手段（ディスプレイ）108、進行役のみに情報を提示する進行役表示手段（ディスプレイ）109、音声を伝えるスピーカ110、制御手段によるコントロール機能のある照明111、同じく制御手段によるコントロール機能のある空調装置112などから構成される。これらの各種の情報提示部は、常にすべてが必要であるとは限らず、フィードバックの目的に応じて選択する。

図２は、以下に説明する各実施例のハードウェア構成の一例を示すブロック図である。図１にて述べた、一つ以上の加速度センサなどのセンシング手段と、マイクなどの入力手段、入力部からなるセンシング・入力手段201が、センシング・入力端末202に接続され、センシング信号等として情報収集される。同じく、図１にて述べた、一つ以上の進行役ディスプレイ108や照明111などの表示・制御手段203は、表示・制御端末204に接続され、情報の提示が行われる。これら２つの端末はネットワーク205を通じて、サーバ206とデータ授受を行う。なお、今回は、これらの２つの端末を用いる構成としたが、処理性能に問題のない場合には、１つの端末ですべて処理してもよいし、逆に、センサごとに別々の端末を用いる構成としてもよい。また、これらの２つの端末を、次に述べるサーバの一機能として実現することも可能であり、またサーバの機能を含めて一台のパーソナルコンピュータ（PC）として実現することも可能である。

サーバ206は通常のコンピュータ構成を有し、中央処理部（CPU）212などの処理部、メモリ213などの記憶部、インタフェース211が内部バスによって接続されている。サーバ206では、メモリ213上に特徴処理プログラム207、時間生産性算出プログラム208、判定・制御プログラム209、学習プログラム210などの各種プログラムが準備されていて、CPU212がこれらのプログラムを実行することにより、センシング・入力端末202からの入力を用いて、以下で説明する処理を行い、表示・制御端末204に結果を渡す。メモリ213上には、以下で説明する各種の情報、データが記憶されている。

第１の実施例は、時間生産性を算出して、進行役にその結果を提示する会議支援システムの実施例である。図３に本実施例の処理全体のフローチャートを示す。このフローチャートに係るプログラム処理は、上述のとおりサーバ206内のCPU212によって実行されることは言うまでもない。

まず、スタート時において、あらかじめメモリ213に設定しておいたスケジュールを取得（301）する。スケジュールは、会議の開始、終了時刻、および、議題番号とそれに対応付けられた各開始予定時刻のテーブルの情報を読み込む。テーブルにおけるデータ構造の詳細は後述する。

次に、進行状況を確認する（302）。具体的には、進行役に対進行役表示手段109等を通して問い合わせを行って、進行役からどの議題を審議中か入力手段107で入力させることによって確認を行う。もし単一の議事で構成されている会議の場合には、経過時間だけを監視する。もし、議題変更時にいつも特定の状況（離着席が検出できる、特定のキーワードやパターンが表示・発話される等）が観測できて、自動的に議事変更状況をモニタリングできる状況・手段があれば、進行役の手入力の代わりにそれを用いてもよい。

次に、映像・音声・センサ信号取得（303）を行い、それらを用いて、盛上り度算出（304）および、変化度算出（305）を実行する。盛上り度、変化度の算出方法の詳細は後述する。次に、スケジュール、進行状況、算出された盛上り度および変化度を用いて時間生産性を算出する（306）。この算出方法の詳細も後述する。

算出された時間生産性を用いて、議題の変更を勧めるかどうかの判定（以後、変更判定）を行う（307）。308において、変更判定が行われたら、表示手段等に変更の提示を行う（309）。変更判定が行われなかった場合には進行状況確認（302）に戻って進行状況の確認を続ける。

本実施例では、変更提示は、対進行役表示手段109への表示で行うものとする。変更提示は、310において変更が完了されるまで継続される。変更が完了されたことが、進行役の手入力か、または何らかの自動検出手段によって入力されれば、311において、支援処理終了の指示がないかぎり、次の時刻の進行状況確認（302）に戻る。

図４に、盛上り度算出（304）の詳細な手順を示す。盛上り度は、時々刻々算出される量であり、複数の観測量によって算出される。本実施例において、観測量としては、マイクによる音量、マイクまたは加速度センサによる推定発話者数、加速度センサまたは映像による人物動作量やシンクロ度を要素として算出される。

まず、401にてマイクによる音量の算出を行う。時刻tでのマイクの原信号をx(t)とすると、音量L(t)は例えば下式で算出される。この算出は先に説明した図２のサーバ206中のメモリ213に記憶された特徴処理プログラム207をCPU212が実行することによって実現される。

ここで、x₀は静寂時に得られるマイク信号の平均値である。

次に、402にて推定発話者数の算出を行う。前述の参加者が装着した加速度センサ102を用いる場合には、一定の時間間隔での加速度の大きさおよびその周波数を用いて、各装着者の発話／非発話の判定を行い、判定の結果を用いて発話者の人数をカウントすることで算出を行う。ここで、各装着者の発話／非発話の判定は、時刻tでの加速度の大きさをa(t)、周波数算出に用いる時間間隔をΔｔ、時間間隔（ｔ-Δｔ〜ｔ）間にて最大値をとる周波数成分を、
ω_max(t)(=arg max_ωF_-Δt[a(t)](ω))としたとき、a(t)>a_thかつω_thU>ω_max(t)>ω_thLであれば、時刻tで発話ありとする。ここで、F_-Δt[a(t)](ω)は、時間間隔（ｔ-Δｔ〜ｔ）間での加速度a(t)のフーリエ変換であり、 a_th、ω_thLおよびω_thUはそれぞれデータ観測に基づいて別途定める閾値である。

本実施例での算出方法は、加速度の大きさが一定以上であり、かつ、特定の周波数帯にある場合に発話しているとみなした推定値である。数値の具体例として、a_th、=1.0(m/s²)、ω_thL=1.5(Hz)、ω_thU=2.5(Hz)などとする。

推定発話者数の算出をマイクで行う場合には、厳密には各発話者の音源を分離して発話者の数を算出する必要があるが、近似的に、複数のマイクの音量の分布から発話数の概数を推定する方法を用いることができる。例えば、最も簡単には、会議の参加者がP_all人、マイクはN個設置され、その内、別途定めた閾値より大きい音量のマイクがN_L(t)個あったとして、時刻tでの推定話者人数P(t)を、

と推定する。

本算出方法は、複数のマイクが互いに十分離れて配置されているとした場合に、発言人数が多くなると、音量の値が一定値以上のマイクの数が比例して増えていくと仮定して発言人数を推定する方法である。なお、本評価式の閾値は、会議場の状況や着席状況によって変化するため、会議開始時に参加者に発声を行ってもらい、発声人数とマイク信号の関係を調べることで決定しておくことが望ましい。また、数値の安定化の為、それぞれの音量の値は、ある一定時間間隔での時間平均をとってもよい。この算出も先に説明した図２のサーバ206中のメモリ213に記憶された特徴処理プログラム207をCPU212が実行することによって実現される。

以上見てきたように推定発話者数の算出には、原理的には、加速度センサまたはマイクのどちらかのセンシング手段があればよく、両方用いることは必須ではない。しかしながら、両者のセンサ情報を併用することで、例えば２つの推定値の平均値を取るなどによって信頼度を上げることができる。

盛上り度算出の次のステップとして、図４の403にて、人物動作量を算出する。人物動作量とは、一定の時間間隔において、人物がどの程度特定の動作を行ったかを定量化するもので、熱心な議論中のジェスチャや、会話に首を向けての興味状態のディスプレイを抽出することを目的としている。この人物動作特徴量は加速度センサ102もしくはカメラ104の映像を用いて算出する。

加速度センサ102を用いた算出の場合、上述の発話状態の算出とパラメータが異なるだけで方法は同じである。具体的には、発話に比べてより大きな加速度（例えば5.0m/s²）で、かつ発話に比べてやや低い周波数（例えば1.0Hz付近）をもつ場合に人物動作であるとする。その加速度の大きさそのものを動作量とする。この動作量の詳細は、パラメータの違いを除いて発話の際の算出と同様であるので省略する。

カメラ104を用いて人物動作量を算出する場合、画像処理の基本技術であるフレーム間差分を用いる。すなわち、時刻t-Δtと時刻tでの画像間の各画素の輝度の変化を算出し、特定の閾値より変動量が大きい画素の数をもって人物動作量とする方法である。この方法では、カメラと人物の相対位置によって、同じ動作量でも検出量が異なるため、会議開始時に参加者に特定の運動を行わせて、画像の特定の場所ごとに換算係数を算出することで解決する。例えば、画面中の右側の人物は、左側の人物より２倍の距離に位置する場合、ほぼ同じ動作をさせると、画像の右側は左側に比べて４分の１の動作量しか検出されないため、あらかじめ換算係数を４倍にとっておくことで、着席状況によらない動作量の換算ができる。

発話者数の場合と同様に、人物動作量の算出においても、原理的には、加速度センサまたはカメラのどちらかのセンシング手段があればよく、両方用いることは必須ではない。しかしながら、両者のセンサ情報を併用することで同様に信頼度を上げることができる。

盛上り度算出の次のステップとして、図４の404にて、シンクロ度を算出する。シンクロ度とは、会議の参加者である複数の人物が同一時刻に行う動作がどの程度似ているかを表す量である。この量は、会議の話題に集中している者は同じタイミングで顔向きを変えたり、驚いたりと、揃った動作をすることから、それを検出するための量である。この人物動作特徴量も加速度センサ102もしくはカメラ104の映像を用いて算出する。

加速度センサ102を用いてシンクロ度を算出する場合、各参加者１, ２,…, Nの加速度の大きさa₁(t), a₂(t),…, a_N(t)の一定の時間間隔（ｔ-T〜ｔ）における相互相関を示す量を算出する。例えば、全ての組合せでの相互相関の平均値を算出してシンクロ度S(t)とする。この算出も先に説明した図２のサーバ206中のメモリ213に記憶された特徴処理プログラム207をCPU212が実行することによって実現される。

ここで、<i,j>はi,j全ての組み合わせに渡ってとる。
カメラ104を用いてシンクロ度を算出する場合、人物動作量の算出と同様に、画像処理の基本技術であるフレーム間差分を用いる。すなわち、画像中で各参加者が映っている複数の変動領域をあらかじめ決定しておいて、人物動作量算出と同様に、変動領域ごとに、時刻t-Δtと時刻tでの画像間の画素ごとの輝度の変化を算出し、特定の閾値より変動量が大きい画素の数をもって人物動作量所とする。変動領域ごとの人物動作量を一定の時間間隔集めて時系列を構成して、それらのシンクロ度を見る。今、このようにして算出した各変動領域１, ２,…, Nでの時間間隔（ｔ-T〜ｔ）における変動量の時系列をそれぞれd₁(t), d₂(t),…, d_N(t)、とし、上述の加速度による相互相関の平均値とまったく同じ式でシンクロ度を算出する。なお、Δt<<T、すなわち、時間間隔（ｔ-T〜ｔ）では時間間隔Δtでの動作量算出を複数回算出可能であるとする。あらかじめ映像中の場所の違いを吸収する重み係数を決定する方法なども、人物動作量の場合と同様である。さらに、人物動作量の場合と同様、加速度センサか映像どちらかあれば算出可能であるが、両者のセンサ情報を併用することで同様に信頼度を上げることができる。

以上の手順で算出した各特徴量を統合して、図４の405にて、盛上り度を以下で定義される式に基づいてのように算出する。今、時刻tでの音量をL(t)、推定発話者数をP(t)、人物動作量をM(t)、シンクロ度をS(t)として、盛上り度LU(t)は、例えば、それらの重み付け線形和で定義する。この算出も特徴処理プログラム207をCPU212が実行することによって実現される。

ここで、係数a, b, c, d, eはそれぞれの特徴量の大きさ等を吸収し、盛上りを反映するためにデータから定める。

ここで、盛上り度LU(t)を算出するためには、これら４つの特徴量（L(t)、P(t)、M(t)、S(t)）は必ずしも全て必要ではなく、その一部でもよい。例えば、人物の動作に係る動作量M(t)とシンクロ度S(t)の内、一方を人物動作特徴量としてとして音量L(t)と推定発話者数P(t)とセットで用いて盛上り度LU(t)を算出して良い。また、以上説明した特徴量以外の特徴量を用いてもよい。また、安定化のため、一定時間間隔で平均したものを用いてもよい。

次に、図５に、盛上り度と併用されるもう一つの特徴量である変化度の算出手順を示す。算出のための素となる特徴量は、盛上り度と同様、音量をL(t)、推定発話者数をP(t)、人物動作量をM(t)、シンクロ度S(t)である。501において、前後一定間隔のこれらの時系列の変化具合を見て、変化点らしさを算出する。その方法は、例えば、北側源四郎著、「時系列解析入門」岩波書店２００５年の第８章に述べられている方法を用いればよい。

さらに簡単には、変化度を調べる時刻ｔの前の時間間隔[t-T, t]および、後の時間間隔[t, t+T]のそれぞれにおける特徴量分布の分離度を算出して時刻tにおける変化度としてもよい。分離度の定義は、特徴量ベクトルV(t)=(L(t),P(t),M(t),S(t))を短い時間間隔Δtで離散化して、[t-T. t]でのベクトルデータ列V(t-T), V(t-T+ΔT),…, V((t-Δt)および、[t, t+T]でのベクトルデータ列V(t), V(t+Δt), …, V(t+T)を決め、これらを２群のデータと見て、両データ間の平均ベクトルＶ_beforeとＶ_after（なお、下式において平均ベクトルを上付きのバー“−”にて表記する）間の分散を考慮した距離を分離度、すなわち時刻tでの変化度CH(t)とする。

ここで、右上付き添え字tはベクトルの転置を、Σ^-1は離散化した前後全データによる分散共分散行列Σの逆行列を表す。この算出も特徴処理プログラム207をCPU212が実行することによって実現される。

以上の量と会議遅れ時間を用いて、時間生産性が算出される。本実施例では、盛上り度をLU(ｔ)、変化度をCH(t)、スケジュールからの遅れ時間をDL(t)とすると、時間生産性PPT(t)として例えば以下のように定義する。

ここで、係数p, q, rは、時間生産性が有効な値を持つように実験的に定める。

この定義の意味は、盛上り度や変化度から推定される、会議の良さの程度を示す指標（以下、「会議の良さの指標」）を正要因、スケジュールからの遅れを負要因として、遅延を少なく、かつ会議の良さの指標を上げた場合に、時間当たりの生産性が最も大きいと考えたものである。以後、上式右辺の前半２項まで（ｐLU(t)+qCH(t)）を「会議の良さの指標」と呼ぶ。ここで係数p, qの内の一方を零と設定した場合、会議の良さの指標は盛上り度あるいは変化度の一方により推定されこととなる。上述のとおり、本実施例における盛上り度および変化度は、数４、式５より明らかな通り、音量L(t)、推定発話者数P(t)と、人物動作特徴量である人物動作量をM(t)、シンクロ度S(t)から算出されるため、本実施例における会議の良さの指標は、音量L(t)、推定発話者数P(t)と、人物動作特徴量である人物動作量をM(t)、シンクロ度S(t)を用いて算出、生成されることに変わりはない。

なお、時間生産性PPT(t)の具体的な式の形は上記でなくてもよく、例えば、以下のように、盛上り度をLU(t)や変化度CH(t)の値に対して飽和的な振る舞いをする次のような関数であってもよい。

なお、以上の説明中の数６、数７の算出は、先に説明した図２のサーバ206中のメモリ213に記憶された時間生産性算出プログラム208をCPU212が実行することによって実現される。

さて、時間生産性PPT(t)を用いた議題変更（終了）判定（図３の307）は、PPT(t)の値があらかじめ設定しておいた閾値より小さくなった場合に、議題変更（終了）判定とする。すなわち、その閾値をPPT_thとすると、

この判定は、先に説明した図２のサーバ206中のメモリ213に記憶された判定・制御プログラム209をCPU212が実行することによって実現される。

図６を用いて上述の308の判定手順の仕組みを示す。図６は横軸に盛上り度と変化度から決まる会議の良さの指標、縦軸に遅れ時間をとったグラフである。いま、時間生産性の値に対する閾値を一つ決めると、図に書いたように、横軸に平行な２次曲線が描かれ、この判断の基準となる曲線によって分割される上部の領域が「変更」判断の領域、下部の領域が継続（変更判断しない）の領域となる。

図７に、本実施例におけるスケジュール、進行状況、遅れ、盛上り度、変化度、および時間生産性のデータの一例を模式的に示す。図７の例では、３つの議題がスケジュールされている会議で、盛上り度、変化度、時間生産性の経歴は図に示したとおりである。現在時刻701は、矢印で示すとおり11:30である。議題は予定を超過して議題２が進行中であり、遅れは45分、時間生産性が小さくなってきた為、終了判断が下される可能性が高まっている。

図８に、表示手段109を用い、進行役に提示する生産性評価結果画面の一例を示す。横軸時間、縦軸時間生産性の時々刻々変化（シフト）するグラフ表示を想定している。801が時間生産性の曲線であり、802が現在時刻を示す。また、803には現在の生産性が数値で表示されている。804が変更判断するための閾値の水準、805は801の累積値を示した積算生産量である。また、806のように、変更判断の結果が変更提示（図３の309）のアラームとして表示されている。進行役は、これらのグラフの状況やアラームをみながら、議事変更を行うか、あるいは拒否して継続するか、等の判断を行う。例えば、積算生産量805の値を見て、ある一定の生産性が得られたら休憩の目安とする、等である。

なお、本実施例では、進行役のみに結果の提示を行う方法を説明したが、進行役ディスプレイ以外の表示・制御手段、例えば全員表示手段108、スピーカ110等を用いて、参加者全員に生産性の情報や、アラームを伝えるような構成も可能である。

続いて、第２の実施例を図９に従い説明する。第２の実施例は、参加者全員に、予兆付きフィードバックを行う会議支援システムである。

図９に実施例２の処理手順を示す。この処理フローも先の実施例同様、サーバ206のCPU212が実行するプログラムによって実現される。時間生産性を算出して（306）、議題変更判定を行い（307）、変更判定の場合には変更提示を行う（310）部分は、前実施例と同様である。本実施例では、それに加えて、308で変更判定されなかった場合でも、変更判定予測（901）を行い、変更直前と予想される場合には(902)、903にて参加者全員に予兆の提示を行う。

変更直前か否かの予想方法は、実施例１と同様に定義される現在時刻tでの時間生産性PPT(t)を少し前の時刻t-Tでの時間生産性PPT(t-T)と比較することで、その増加傾向を外挿して、しきい値PPT_thと比較することで、変更判断までの時刻を予測する。単純な線形外挿を用いる場合には、予測変更判断時刻t_cは以下の式で与えられる。

この計算は、先に説明した図２のサーバ206中のメモリ213に記憶された判定・制御プログラム209をCPU212が実行することによって実現されることは言うまでもない。

この結果、予測変更判断時刻までの時刻（以下、予測残時刻）t_c-tが開始設定時間T_th以内であれば、予兆の情報提示を行う。ここで、判断の基準となるT_thは例えば５分などに設定される。

次に、予兆提示の方法であるが、本実施例では、予兆提示は会議参加者全員に行われるとする。その方法は、プロジェクタやディスプレイなどの全員表示手段108、スピーカ110、照明111、空調112などによって行われる。全員表示手段108を用いる方法では、議題変更や終了を促す各種表示、次の議題のタイトルや内容の表示、次回の会議スケジュール決定を促す表示、等である。スピーカ110を用いる方法では、議題変更を促すチャイムやアラームやアナウンス、または終了を連想させる音楽を鳴らす等を行う。照明111や、空調112などを用いる場合には、制御手段によりそれらを変動させて終了を促す。

なお、予兆提示ではどの程度の強度（目立ちやすさ）で提示するかが重要であり、予測時刻から遠い場合には、強度を低く表示し、予測時刻に近づくにつれ、強度を高くすることが望ましい。各提示手段でそれぞれ提示強度を定めたとし、その提示強度をDI(t)、予定している最大提示強度をDI_maxと記すと、提示手段によらず、例えば以下の式で調節される（T_thは上述の開始設定時間）。

なお、本実施例の手順は、あくまで予測に基づくものであるので、実際には、会議の良さの指標が向上するなどして変更とならない時にも予兆提示が開始されてしまう場合もありうるが、予測精度をなるべく向上させること、および、予測残時刻t_c-tが十分あるときには提示強度をおさえるなどの工夫によって議事進行の障害にならないようにすることが可能である。

第３の実施例では、ユーザからの再フィードバックで学習を行う機能をもたせた会議支援システムを説明する。図１０に本実施例の処理手順を示す。基本的な処理手順は実施例１と同様である。図１０の処理フローで、議題変更提示（309）が行われた時、進行役が実際の会議の状況から、議題変更がふさわしくない（継続がふさわしい）と判断したとき、入力手段107を使って、変更を行わない指示（変更拒否）を行う。

変更拒否が入力されたら（1001）、議題変更判定のパラメータを変更する（1002）。その方法は、例えば、閾値PPT_thをより小さいものに変更するか、生産性の係数p, q, r自体を変更してもよい。すなわち、生産性の係数p, q, rを変更することで、議題変更判断をされにくくするためには、

この提示判断の基準（提示基準）を変更する係数の変更は、図２のサーバ206中のメモリ213に記憶された学習プログラム210をCPU212が実行することによって実現可能である。

図１１に生産性の係数p, q, rを変更した場合の模式図を示す。変更と継続領域の境界が移動することで、同じ閾値であっても、旧係数の場合に比べて変更判断がされにくくなっている。

なお、本実施例においても実施例２と同様に全員への予兆提示を行って、全員からの再フィードバックを行ってもよい。

第４の実施例では、上述してきた時間生産性に各種コストを含めることが可能な会議支援システムを説明する。

ここでコストとは、消費電力、人件費（参加中及び事前準備）、設備消耗等である。本実施例は、実施例１で述べた会議の良さの指標が高くても、コストが高くなるとペナルティを与えるものである。なお、コストは、会議中定常的にかかる項目と、イベントに応じて消費される項目がある。例えば、電力消費は時間変動する量であり、会議参加中の人件費も、各時間での参加者×時給より算出される変動量である。一方、会議の事前準備に関する人件費や設備利用料などは時間によって変動することなく、開始時点で一定の値に定まっている性質のものである。以上を一般化して、時間変動するコスト指標（単位時間あたりのコスト）を併せてDCost(t)固定のコスト（単位時間あたり）をSCostと置く。単位は例えば金額に換算されているとする。その他、実施例１と同様に盛上り度をLU(t)、変化度をCH(t)、スケジュールからの遅れ時間をDL(t)とすると、コストを考慮した時間生産性PPT_c(t)として例えば以下のように定義する。

ここで、積分の下限t₀は、会議の開示時刻または現在の議題の開始時刻に設定する。また、全ての係数は、実施例１と同様に、時間生産性が有効な値を持つように実験的に定める。この式は、実施例１の項に加えて上記コストの積算量に比例するペナルティ項を加えたものであり、この結果、会議の時間が経過すればするほど、打ち切り判断が早くなるような評価関数となっている。

本実施例は、上述のとおり時間生産性に利用コストが含まれることを除けば、議題の変更判断等は、実施例１〜３の場合と同様である。

本発明は、会議等における対話状況や進行状況をモニタリングし、参加者に情報を報知することによって、議事進行を補助する技術として有用である。

101…参加者
102…加速度センサ
103…マイク
104…撮影手段
105…在席センサ
106…進行役
107…入力手段
108…全員表示手段
109…対進行役表示手段
110…スピーカ
111…照明
112…空調
201…センシング・入力手段
202…センシング・入力端末
203…表示・制御手段
204…表示・制御端末
205…ネットワーク
206…サーバ
207…特徴処理プログラム
208…時間生産性算出プログラム
209…判定・制御プログラム
210…学習プログラム
211…インタフェース
212…ＣＰＵ
213…メモリ。

Claims (15)

1. 複数の参加者による会議の進行状況をセンシングにより把握して結果をフィードバックする会議支援システムであって、
   センシングを行う複数のセンシング部と、
   複数の前記センシング部から出力されるセンシング信号を処理する処理部と、
   前記処理部の処理結果に基き、情報提示を行う情報提示部を備え、
   前記処理部は、
   前記センシング信号に基づき、会議の時間生産性を算出し、算出した前記時間生産性を用いて、前記情報提示部に情報提示を行う、
   ことを特徴とする会議支援システム。
2. 請求項１に記載の会議支援システムであって、
   前記処理部は、
   前記時間生産性の算出を、会議の良さの指標と、会議の時間スケジュールからのずれの双方から算出する、
   ことを特徴とする会議支援システム。
3. 請求項２に記載の会議支援システムであって、
   前記処理部は、
   前記会議の良さの指標を、前記センシング部からのセンシング信号に基づき、会議の盛上り度または変化度を算出することによって生成する、
   ことを特徴とする会議支援システム。
4. 請求項３に記載の会議支援システムであって、
   前記処理部は、
   前記盛上り度として、前記信号に基づき算出する音量、発話対象者数、動き量、動きシンクロ量を用いる、
   ことを特徴とする会議支援システム。
5. 請求項３に記載の会議支援システムであって、
   前記処理部は、
   前記変化度として、前記信号に基づき算出する音量、発話対象者数、動き量、動きシンクロ量を用いる、
   ことを特徴とする会議支援システム。
6. 請求項１に記載の会議支援システムであって、
   前記処理部は、
   算出した前記時間生産性に基き、前記情報提示部からの情報提示として、会議の参加者全員または一部に、議事の変更もしくは会議の終了を促す、
   ことを特徴とする会議支援システム。
7. 請求項６に記載の会議支援システムであって、
   前記処理部は、
   前記時間生産性の時間変化を予測して、前記情報提示部からの情報提示として事前の予兆を与える、
   ことを特徴とする会議支援システム。
8. 請求項６に記載の会議支援システムであって、
   前記処理部は、
   前記情報提示部への情報提示として、チャイム、アラーム、楽音等の音声提示、パターン、メッセージ、情報等の提示、または、空調や照明の変動等を行う、
   ことを特徴とする会議支援システム。
9. 請求項６に記載の会議支援システムであって、
   前記参加者が指示を入力可能な入力部を更に有し、
   前記処理部は、
   前記情報提示部からの前記情報提示の結果、前記入力部からの前記参加者の指示を受付、受け付けた前記指示によって、前記時間生産性に基く前記情報提示の提示基準を変更する、
   ことを特徴とする会議支援システム。
10. 請求項１に記載の会議支援システムであって、
    前記処理部は、
    前記時間生産性の算出の際に、前記会議の良さの指標と、前記会議の時間スケジュールからのずれに加えて、前記会議における消費電力、人件費などのコスト指標を用いる、
    ことを特徴とする会議支援システム。
11. 複数の参加者による会議の進行状況を複数のセンシング部でセンシングして得たセンシング情報を処理する、会議支援システムの処理部において実行される会議支援プログラムであって、
    複数の前記センシング部から出力された前記センシング情報に基づき会議の時間生産性を算出し、
    算出した前記時間生産性に基づき、情報提示部に議事進行のための情報提示を行う、
    ことを特徴とする会議支援プログラム。
12. 請求項１１に記載の会議支援プログラムであって、
    前記時間生産性の算出を、会議の良さの指標と、会議の時間スケジュールからのずれの双方から算出する、
    ことを特徴とする会議支援プログラム。
13. 請求項１１に記載の会議支援プログラムであって、
    算出した前記時間生産性に基き、前記情報提示部からの前記情報提示として、会議の参加者全員または一部に、議事の変更もしくは会議の終了を促すフィードバックを行う、
    ことを特徴とする会議支援プログラム。
14. 請求項１３に記載の会議支援プログラムであって、
    前記時間生産性の時間変化を予測して、前記情報提示部からの前記情報提示として事前の予兆を与える、
    ことを特徴とする会議支援プログラム。
15. 請求項１２に記載の会議支援プログラムであって、
    前記時間生産性の算出に、前記会議の良さの指標と前記会議の時間スケジュールからのずれに加えて、コスト指標を用いる、
    ことを特徴とする会議支援プログラム。

Images