JP2012253478A - 会議支援システム、会議支援装置、会議支援方法およびコンピュータープログラム - Google Patents

Abstract

【課題】会議の途中で話し手が変わる場合であっても、話し手の負担を従来よりも軽減しつつ、話し手が参照している資料の部分を聞き手に伝えることができる会議支援システムを提供する。
【解決手段】会議支援システム１００は、会議支援装置１および複数台の端末装置２を有し、会議支援装置１には、複数台の端末装置２のうちの話し手に使用される端末装置２を特定する発表者特定部が設けられ、端末装置２には、資料の中の、話し手が注目している位置である注目位置を、会議支援装置１に通知する注目位置回答部が設けられ、会議支援装置１には、注目位置回答部から通知された注目位置を、複数台の端末装置２のうちの話し手以外に使用される端末装置２に通知する注目位置通知部が設けられている。
【選択図】図１

Description

本発明は、ネットワークを介して互いに接続された複数のコンピューターにより構成される会議支援システムなどに関する。

ディスプレイ、マイクおよびスピーカーをそれぞれ備えた複数台のコンピューターをネットワークにより接続し、これらのコンピューターを用いて会議を行うことが従来からなされている。この会議の資料としては、例えばＰＤＦ（Portable Document Format）形式の電子文書が用いられる。会議の参加者はそれぞれディスプレイに資料を表示して閲覧する。会議の参加者は、発表を行う話し手になることもあれば、発表を聞く聞き手になることもある。

話し手は、ディスプレイに表示された資料を参照しながら説明を行う。話し手の音声は、話し手のコンピューターから聞き手のコンピューターへと送信され、聞き手のコンピューターから出力される。聞き手は、話し手に対して発表について質問をすることが可能であり、他の聞き手はそのやり取りを音声で聞くことができる。このようにコンピューターを用いることによって、遠隔地にいる者であっても会議に参加することができる。

会議において、話し手は、聞き手に対して資料の参照部分を指示しながら説明を行う。聞き手は、話し手に指示された参照部分をディスプレイに表示して、その画像を見ながら説明を聞く。しかし、聞き手は、話し手の説明を聞きながら、例えばメモを取るなど他のことを行う場合がある。また、聞き手は、資料の参照部分以外を見たり、他の資料を見たりする場合もある。このとき、聞き手が資料の参照部分を見失うことがある。参照部分を見失うと、特に資料のボリュームが多い場合は見つけ出すことが困難である。

そこで、話し手のディスプレイに表示される画像と同一の画像を、聞き手のディスプレイに常に表示しておくことが、考えられる。

これにより、聞き手は、話し手の指示する参照部分を見失う可能性が少なくなる。しかし、聞き手は、資料の参照部分以外を見たり、他の資料を見たりすることができず、自由に画像を選択して見ることができないという問題が生じる。

特許文献１および特許文献２には、聞き手が話し手のディスプレイに表示されている画像およびこの画像以外を選択的に見ることができる発明が開示されている。特許文献１および特許文献２の発明によれば、聞き手は、話し手が説明している部分を容易に見つけることができ、かつ、話し手が説明している部分以外の任意の画像をディスプレイで見ることもできる。

特開２０００−９２２１７号公報 特開平７−１６２８２４号公報

上述の方法を用いるには、参加者のうちの誰が話し手であるかをコンピューターに認識させなければならない。

特許文献１に記載される発明によれば、参加者が発表モード設定スイッチを押すことによって、自分が話し手になることをコンピューターに認識させる。

特許文献２に記載される発明によれば、会議が始まる前に話し手の端末装置を予め決めておく。

しかし、特許文献１に記載される発明によれば、参加者は、自分が話し手になる際に、一々、発表モード設定スイッチを押さなければならないので、面倒である。

特許文献２に記載される発明によれば、話し手が、最初に決めておいた端末装置のユーザーから他の端末装置のユーザーに途中で変わっても、それに対応することができない。つまり、聞き手は、話し手のディスプレイに表示されている画像を選択する操作を行っても、新たな話し手が参照している画像を見ることはできない。

本発明は、上述の問題点に鑑みてなされた発明であり、その目的は、会議の途中で話し手が変わる場合であっても、話し手の負担を従来よりも軽減しつつ、話し手が参照している資料の部分を聞き手に伝えることである。

本発明の一形態に係る会議支援システムは、会議支援装置および複数台の端末装置を有する会議支援システムであって、前記会議支援装置には、前記複数台の端末装置のうちの話し手に使用される端末装置である第１端末装置を特定する端末特定手段が、設けられ、前記第１端末装置には、資料の中の、前記話し手が注目している位置である注目位置を、前記会議支援装置に通知する第１注目位置通知手段が、設けられ、前記会議支援装置には、前記第１注目位置通知手段から通知された前記注目位置を、前記複数台の端末装置のうちの前記話し手以外に使用される端末装置である第２端末装置に通知する第２注目位置通知手段が、設けられている、ことを特徴とする。

また、本発明の一形態に係る会議支援装置は、複数台の端末装置と連携して会議を支援する会議支援装置であって、前記端末装置のうちの話し手に使用される端末装置である第１端末装置を特定する端末特定手段と、前記第１端末装置から、資料の中の、前記話し手が注目している位置である注目位置を受信する、注目位置受信手段と、前記複数台の端末装置それぞれから発言の内容を示す発言内容データを受信する音声データ受信手段と、前記資料の中の前記注目位置が示す部分に前記発言内容データを対応付けた画像を付加することによって、議事録を生成する、議事録生成手段と、を有する、ことを特徴とする。

本発明によれば、会議の途中で話し手が変わる場合であっても、話し手の負担を従来よりも軽減しつつ、話し手が参照している資料の部分を聞き手に伝えることができる。

会議支援システムの全体的な構成の一例を示す図である。 会議支援装置のハードウェア構成の一例を示す図である。 会議支援装置の機能的構成の一例を示す図である。 端末装置のハードウェア構成の一例を示す図である。 端末装置の機能的構成の一例を示す図である。 会議支援システムの処理の概略を説明するための図である。 発表者の端末装置により表示されるウィンドウを示す図である。 リスナーの端末装置により表示されるウィンドウの一例を示す図である。 リスナーの端末装置により表示されるウィンドウの一例を示す図である。 リスナーの端末装置により表示されるウィンドウのさらに他の一例を示す図である。 第１ダイアログボックスを示す図である。 第２ダイアログボックスを示す図である。 第３ダイアログボックスを示す図である。 議事録音声データにリンクしたアイコンが表示されたウィンドウの一例を示す図である。 議事録テキストデータにリンクしたアイコン５７が表示されたウィンドウ５の一例を示す図であって、アイコン５７がクリックされる前後の状態を示す。 会議支援装置における端末装置への注目位置を通知する処理および議事録のデータの生成の処理の流れの一例を説明するフローチャートである。 端末装置の全体的な処理の流れの一例を説明するフローチャート端末装置の全体的な処理の流れの一例を説明するフローチャートである。

図１は、会議支援システム１００の全体的な構成の一例を示す図である。図２は、会議支援装置１のハードウェア構成の一例を示す図である。図３は、会議支援装置１の機能的構成の一例を示す図である。図４は、端末装置２のハードウェア構成の一例を示す図である。図５は、端末装置２の機能的構成の一例を示す図である。 会議支援システム１００は、図１に示すように、会議支援装置１、複数台の端末装置２および通信回線ＮＷなどによって構成される。

会議支援装置１および各端末装置２は、通信回線ＮＷを介してデータのやり取りを行うことができる。また、２台の端末装置２は、通信回線ＮＷおよび会議支援装置１を介してデータのやりとりを行うことができる。通信回線ＮＷとして、ＬＡＮ（Local Area Network）回線、公衆回線、またはインターネットなどが用いられる。以下、各端末装置２をそれぞれ「端末装置２Ａ」、「端末装置２Ｂ」、「端末装置２Ｃ」、…と区別して記載することがある。

会議支援システム１００は、会議に参加するユーザーを支援するシステムであって、特に、会議において発言をしている者が参照している画像を他の参加者が容易に参照することができるようにする。

会議支援装置１はサーバーであって、端末装置２からの音声信号に基づいて発表者（話し手）の特定を行い、資料の中の、発表者が参照している部分を各端末装置２へ通知する。

会議支援装置１は、図２に示すように、ＣＰＵ（Central Processing Unit）１０ａ、ＲＡＭ（Random Access Memory）１０ｂ、ＲＯＭ（Read Only Memory）１０ｃ、ハードディスク１０ｄ、音声処理装置１０ｅ、グラフィックボード１０ｆ、ＮＩＣ（Network Interface Card）１０ｇおよびＵＳＢ（Universal Serial Bus）ボード１０ｈなどによって構成される。

音声処理装置１０ｅは、マイクロフォン３２に接続されている。マイクロフォン３２は、音声を取り込んで、電気信号化することによって音声データに変換し、音声処理装置１０ｅに送る。音声処理装置１０ｅは、音声データを処理する。また、音声処理装置１０ｅは、スピーカー３１とも接続されていて、音声データをスピーカー３１に送る。スピーカー３１は、音声データを音声に変換して出力する。

グラフィックボード１０ｆは、画像表示機能を実現する拡張カードであり、液晶プロジェクター３３と接続されている。液晶プロジェクター３３は、投影面であるスクリーンに画像を表示する。

ＮＩＣ１０ｇは、通信回線ＮＷを介して端末装置２と通信を行うためのインターフェースカードである。

ＵＳＢボード１０ｈは、会議支援装置１と周辺装置であるキーボードおよびマウスとを接続するためのインターフェースである。キーボードおよびマウスは、会議支援装置１にデータおよびコマンドを入力するために用いられる。

ＲＯＭ１０ｃまたはハードディスク１０ｄには、図３に示すような音声データ取得処理部１０１、音声認識部１０２、発表者特定部１０３、注目位置問合せ部１０４、注目位置通知部１０６、議事録形態記憶部１０７、議事録データ生成部１０８および議事録データ記憶部１０９などを実現するためのプログラムおよびデータが記憶されている。これらのプログラムおよびデータは、必要に応じてＲＡＭ１０ｂにロードされ、ＣＰＵ１０ａによってプログラムが実行される。ハードディスク１０ｄの代わりにＳＳＤ（Solid State Drive）などを用いてもよい。

端末装置２は、ユーザーが資料を閲覧するために使用する装置である。また、ユーザーの発言を他のユーザーに伝えるために、音声データとして取り込み、会議支援装置１に送信する。また、会議支援装置１から音声データを受信して音声を出力する。端末装置２としては、パーソナルコンピューターまたはスマートフォンなどが用いられる。以下、端末装置２としてノート型のパーソナルコンピューターが用いられる場合を例に説明する。

端末装置２は、図４に示すように、ＣＰＵ２０ａ、ＲＡＭ２０ｂ、ＲＯＭ２０ｃ、ハードディスク２０ｄ、液晶ディスプレイ２０ｅ、キーボード２０ｆ、ポインティングデバイス２０ｇ、ＮＩＣ２０ｈおよび音声処理ユニット２０ｉなどによって構成される。

キーボード２０ｆおよびポインティングデバイス２０ｇは、端末装置２にデータおよびコマンドなどを入力するために用いられる。

ＮＩＣ２０ｈは、通信回線ＮＷを介して会議支援装置１と通信を行うためのインターフェースカードである。

液晶ディスプレイ２０ｅは、会議の資料などを表示するために用いられる。また、ＣＰＵ２０ａの処理の結果などの画像も表示する。

音声処理ユニット２０ｉは、音声処理装置１０ｅ、スピーカー３１およびマイクロフォン３２の機能を併せ持った装置である。つまり、外部からの音声を集音して音声データへと変換したり、音声データを音声へと変換して外部に出力する。

ＲＯＭ２０ｃまたはハードディスク２０ｄには、図５に示すような音声データ送信処理部２０１、注目位置回答部２０２、注目位置提示部２０３、表示位置変更部２０４、表示オプション設定部２０５、表示オプション記憶部２０６および議事録形態通知部２０７などを実現するためのプログラムおよびデータが記憶されている。これらのプログラムおよびデータは、必要に応じてＲＡＭ２０ｂにロードされ、ＣＰＵ２０ａによってプログラムが実行される。ハードディスク２０ｄの代わりにＳＳＤなどを用いてもよい。

図６は、会議支援システム１００の処理の概略を説明するための図である。図７は、発表者の端末装置２により表示されるウィンドウ５を示す図である。図８は、リスナーの端末装置２により表示されるウィンドウ５の一例を示す図である。図９は、リスナーの端末装置２により表示されるウィンドウ５の他の一例を示す図である。図１０は、リスナーの端末装置２により表示されるウィンドウ５のさらに他の一例を示す図である。図１１は、第１ダイアログボックス７７を示す図である。図１２は、第２ダイアログボックス７８を示す図である。

まず、図６を用いて、本実施形態に係る会議支援システム１００における発表者の注目位置を発表者以外に示す処理についての概要を説明する。

図６に示すように、４人のユーザーＡ〜Ｄがそれぞれ端末装置２を介して会議を行っている。以下、ユーザーＡ〜Ｄそれぞれの端末装置２を「端末装置２Ａ」〜「端末装置２Ｄ」と区別して記載することがある。

この会議では、４人のユーザーＡ〜Ｄのうち１人だけが発表を行う。残りの３人は、発表を聞く。以下、発表を行うユーザーを「発表者」と記載し、発表を聞くユーザーを「リスナー」と記載する。

また、発表者は、適宜、他のユーザーに交代することができる。新たに発表者になるユーザーは、「はい」または「意見があります」などの特定の言葉を発して合図する。以下、この特定の言葉を「発表合図語句」と記載する。

各端末装置２には、会議で使用する同一の資料のデータが記憶されている。資料には、複数のページがある。資料のデータとして、例えばＰＤＦ（Portable Document Format）、ＸＰＳ（XML Paper Specification）、マイクロソフト社のＷＯＲＤフォーマットなどの文書表示用のファイル形式のデータが用いられる。

ユーザーＡは、自分が発表者になったら、資料の中の、発表の内容に合った部分を、端末装置２Ａの液晶ディスプレイ２０ｅに表示させる。そして、これを見ながら発表を行う。以下、液晶ディスプレイ２０ｅに表示されている部分の画像を「画像７」と記載する。また、端末装置２Ａ〜２Ｄの液晶ディスプレイ２０ｅに表示されている画像７をそれぞれ「画像７Ａ」〜「画像７Ｄ」と区別して記載することがある。

ユーザーＡが発した音声は、端末装置２Ａによって集音され会議支援装置１に送られる（丸数字１）。

会議支援装置１は、送られてきた音声に基づいて発表者がユーザーＡであることを特定する（丸数字２）。端末装置２Ａの液晶ディスプレイ２０ｅに表示されている画像７の、資料における位置を、端末装置２Ａに問い合せる（丸数字３）。この位置は、発表者が注目している位置であると、言える。そこで、以下、資料の中の、発表者の端末装置２に現在表示されている部分の位置を「注目位置」と記載する。端末装置２Ａは、注目位置を会議支援装置１に回答する（丸数字４）。

会議支援装置１は、端末装置２Ａから回答された注目位置をリスナーであるユーザーＢ〜Ｄの端末装置２Ｂ〜２Ｄに通知する（丸数字５）。

すると、端末装置２Ｂ〜２Ｄは、注目位置をユーザーＢ〜Ｄに提示する（丸数字６）。図６の例では、アイコン５３によって注目位置を提示している。

ところで、端末装置２において、アプリケーションによって資料を開くと、ウィンドウ５が表示される。ウィンドウ５は、文書領域５１および位置指示領域５２などによって構成される。文書領域５１には、資料の一部分つまり画像７が表示される。位置指示領域５２には、資料のインデックスが表示される。インデックスとして、資料のページ番号が表示される。章、項、または節のタイトルを表示してもよい。

ユーザーは、文書領域５１の右端のスクロールバーによって資料をスクロールさせて画像７を変更し、資料の任意の部分を閲覧することができる。または、位置指示領域５２の中のインデックスを選択することによっても、画像７を変更することができる。

ユーザーＡが発表している間、ユーザーＡが発言するたびに、ユーザーＡの音声が、会議支援装置１へ送られる。しかし、会議支援装置１は、一度、発表者を特定したら、所定のイベントが発生するまで、再度、発表者を特定する必要はない。

また、ユーザーＡは、発表している間、資料の注目位置を変更することがある。すると、会議支援装置１は、新たな注目位置を端末装置２Ｂ〜２Ｄへ通知する。

ユーザーＢ〜Ｄも、自分の端末装置２Ｂ〜２Ｄを操作して、資料の任意の部分を閲覧することができる。

以下、図６で説明した処理を実現するための具体的な方法について、図３および図５などを参照しながら説明する。

端末装置２において、音声データ送信処理部２０１（図５参照）は、入力された音声を電気信号である音声データ６０に変換し、会議支援装置１に送信する。

会議支援装置１において、音声データ取得処理部１０１（図３参照）は、音声データ送信処理部２０１から送信された音声データ６０を取得する。

音声認識部１０２は、音声データ６０を用いて音声認識の処理を行うことによって、音声データ６０の送信元である端末装置２のユーザーの発言をテキストデータ６１に変換する。

さらに、音声認識部１０２は、テキストデータ６１に発表合図語句が示されているか否かをチェックする。そして、含まれていれば、発表者を特定する処理を行うように発表者特定部１０３に対して要求する。

発表者特定部１０３は、音声認識部１０２からの要求を受けると、音声データ６０がどのユーザーの音声によるものであるかを認識する。そして、認識したユーザーを発表者として特定する。誰の音声であるかの認識は、予め各ユーザーの音声データを採取しておき、その声紋を検出してデータベースに格納しておけばよい。そして、音声データ６０に示される音声の声紋とデータベースに格納しておいた各ユーザーの声紋とを比較することによって、発表者を特定すればよい。

注目位置問合せ部１０４は、発表者であるユーザーが発表者特定部１０３によって特定された場合に、特定されたユーザーの端末装置２へ、注目位置を回答すべき旨を示す問合せコマンド６２を送信する。

端末装置２において、注目位置回答部２０２は、問合せコマンド６２を受信すると、画像７が資料の中のどの位置にあるか（つまり、注目位置）を確認し、注目位置を示す注目位置データ６３を会議支援装置１へ送信する。具体的には、注目位置データ６３には、画像７のページ番号が示される。ページ番号だけでなく、画像７の先頭の行番号も示されていてもよい。または、画像７の章および項などが示されていてもよい。

会議支援装置１において、注目位置通知部１０６は、注目位置データ６３を受信すると、発表者以外のユーザーつまりリスナーの端末装置２へ注目位置データ６３を転送する。これにより、注目位置がリスナーの端末装置２へ通知される。

端末装置２において、注目位置提示部２０３は、注目位置データ６３を受信すると、注目位置データ６３に示される注目位置を、ユーザーに提示する。例えば、図８に示すように、位置指示領域５２に示されるインデックスのうちの注目位置に対応するインデックスを指し示す位置にアイコン５３を表示する。

表示位置変更部２０４は、ユーザーがアイコン５３を選択すると、画像７を、アイコン５３に対応する部分に変更して、文書領域５１に表示する。

これにより、例えば、リスナーであるユーザーＢは、発表者であるユーザーＡが図７のように注目している部分とは異なる部分を図８のように閲覧していて、注目位置を見失ってしまっても、アイコン５３によってこの部分を容易に把握することができる。そして、ユーザーは、アイコン５３を選択するだけで、注目位置の画像を閲覧することができる。

アイコン５３によって注目位置を提示する代わりに、次のように注目位置を提示してもよい。

図９に示すように、ウィンドウ５に、さらに、サムネイル領域５４を設ける。そして、注目位置提示部２０３は、資料の中の、注目位置の部分（例えば、ページ）を縮小したサムネイル５５を、サムネイル領域５４に表示する。

または、図１０に示すように、位置指示領域５２のインデックスのうちの注目位置に対応するインデックスの表示の属性を変更してもよい。例えば、背景を網掛けにしてもよい。または、フォントの色を赤色にしてもよい。

注目位置の提示の形態は、ユーザーごとに選択できるようにしてもよい。この場合は、端末装置２それぞれの表示オプション記憶部２０６に、ユーザーが選択した形態を示すデータを記憶させておき、このデータに基づいて表示を行えばよい。または、ユーザーは、注目位置の提示を行わないように設定することも、できる。ここで、提示に関する設定の処理を、説明する。

ユーザーは、キーボード２０ｆなどを操作することによって所定のコマンドを入力する。

すると、表示オプション設定部２０５は、図１１に示す第１ダイアログボックス７７を液晶ディスプレイに表示させる。ここで、ユーザーは、注目位置の提示を受けたい場合は、「通知する」を選択し、さらに、３つのオプションボタンの中から提示の形態に対応するオプションボタンを選択する。注目位置の提示を受けたくない場合は、「通知しない」を選択する。選択が完了したら、「ＯＫ」ボタンを押す。

すると、表示オプション設定部２０５は、ユーザーが選択した内容を示す提示オプションデータ６４を表示オプション記憶部２０６に保存する。

そして、注目位置提示部２０３は、提示オプションデータ６４に示される内容の通りにウィンドウ５の表示を行う。

アイコン５３などによって注目位置を提示する代わりに、リスナーの端末装置２の文書領域５１に表示されている画像７を、強制的に注目位置の部分に切り換えて表示してもよい。この場合は、次のように処理を行えばよい。

ユーザーは、キーボード２０ｆなどを操作することによって所定のコマンドを入力する。

すると、表示オプション設定部２０５は、図１２に示す第２ダイアログボックス７８を表示させる。ここで、ユーザーは、「表示切り換えを実施しますか」という問いかけに対して、「実施する」および「実施しない」のいずれかを選択すればよい。選択後、ユーザーは「ＯＫ」ボタンを押す。

すると、表示オプション設定部２０５は、ユーザーが選択した内容を示す強制切換オプションデータ６５を表示オプション記憶部２０６に保存する。

注目位置提示部２０３は、注目位置データ６３が送信されてきたら、強制切換オプションデータ６５をチェックする。そして、強制切換オプションデータ６５に「実施する」ことが示されている場合は、アイコン５３などを配置することなく強制的に、文書領域５１に注目位置の部分を表示させる。「実施しない」ことが示される場合は、提示オプションデータ６４に基づいて表示を行う。

次に、発表者が切り換わる場合の処理について、発表者がユーザーＡからユーザーＢに変わる場合を例に説明する。

ユーザーＡが発言しているときにユーザーＢが質問等により発言した場合には、ユーザーＢが発表者に切り換わる。ただし、ユーザーＢは発言する際に「はい」などの発表合図語句を発声してから発言する。

音声認識部１０２は、端末装置２Ｂからの音声データ６０をテキストデータ６１に変換する。そして、発表合図語句がテキストデータ６１に示されることを検知した場合は、発表者を特定する処理を行うように発表者特定部１０３に対して要求する。

すると、発表者特定部１０３は、発表者を特定し直す。これにより、発表者がユーザーＢに変わったことが検知される。

注目位置問合せ部１０４は、発表者がユーザーＢに変わったので、以降、問合せコマンド６２を端末装置２Ａではなく端末装置２に送信する。

そして、注目位置通知部１０６は、端末装置２Ｂからの注目位置データ６３を、端末装置２Ａ、２Ｃおよび２Ｄへ転送する。発表者が変わるごとに上記の処理を実行すればよい。

なお、注目位置問合せ部１０４は、定期的に（例えば、３０秒ごとに）発表者の端末装置２へ問合せコマンド６２を送り、注目位置を問い合わせてもよい。そして、注目位置通知部１０６は、新たな注目位置データ６３を発表者の端末装置２から受信したら、リスナーの端末装置２へ転送すればよい。

または、端末装置２は、一度、問合せコマンド６２を受信したら、その後に問合せコマンド６２を受信しなくても、注目位置が変わるごとに、それを示す注目位置データ６３を会議支援装置１に送信してもよい。ただし、この場合は、発表者が変わったら、会議支援装置１は、注目位置データ６３の送信を中止するように、直近の発表者の端末装置２へ指令する。端末装置２は、この指令を受けたら、注目位置データ６３の送信を中止する。

図１３は、第３ダイアログボックス７９を示す図である。図１４は、議事録音声データにリンクしたアイコン５６が表示されたウィンドウ５の一例を示す図である。図１５は、議事録テキストデータにリンクしたアイコン５７が表示されたウィンドウ５の一例を示す図であって、アイコン５７がクリックされる前後の状態を示す。

発表者の発表に対してリスナーから質問がなされたり、発表者とリスナーとが意見を交換し合ったりすることがある。従来、会議での会話は、誰かがメモをとりまたは録音し議事録を作成していた。

しかし、この議事録を作成する作業は、メモを読み直したり録音を聴き直したりする必要があり、手間がかかるものであった。そこで、会議における発言について容易に記録することができる装置が望まれていた。

そこで、会議支援装置１の各部は、議事録のデータを生成するための処理を次のように行う。

まず、ユーザーのうちの１人が、議事録の形態を次のように選択する。ユーザーは、キーボード２０ｆなどを操作することによって所定のコマンドを入力する。

すると、端末装置２において、議事録形態通知部２０７は、第３ダイアログボックス７９を表示させる。ここで、ユーザーは、議事録の要否を選択する。必要な場合は「実施する」を選択し、さらに、議事録の形態を指定する。

議事録形態通知部２０７は、「実施する」が選択されかつ議事録の形態が指定されたら、指定された形態を示す議事録形態オプションデータ６６を会議支援装置１へ送信する。

会議支援装置１において、議事録形態オプションデータ６６は、議事録形態記憶部１０７に記憶される。

議事録データ生成部１０８は、次のようにして議事録のデータを生成する。生成の仕方は、議事録の形態が音声であるかテキストであるかによって、異なる。

上述の通り、各端末装置２からは、各ユーザーの音声データ６０が適宜、送信されてくる。発表者特定部１０３は、発表者を適宜、特定する。注目位置問合せ部１０４は、注目位置を発表者の端末装置２へ問い合わせる。

議事録の形態が音声である場合は、議事録データ生成部１０８は、注目位置が同じである間に各端末装置２から得られた音声データ６０それぞれが表わす音声を１つにミキシングすることによって、議事録音声データ（発言内容データ）を生成する。そして、資料のデータにこの議事録音声データを付加するとともに、この注目位置の部分にこの議事録音声データにリンクしたアイコン５６を図１４のように配置する。このように資料のデータに音声のデータを埋め込むことによって、音声議事録ファイル８０が生成される。音声議事録ファイル８０は、議事録データ記憶部１０９に記憶される。

このように、注目位置が変わるごとに、議事録音声データが生成され注目位置の部分にアイコン５６が配置される。

なお、アイコン５６がクリックされると、音楽プレイヤーのソフトウェアが起動し、アイコン５６にリンクしている議事録音声データに基づいて議事録の音声が再生される。

一方、議事録の形態がテキストである場合は、議事録データ生成部１０８は、注目位置が同じである間に各端末装置２から得られた音声データ６０それぞれが表わす音声をテキスト化する。そして、各音声のテキストを時系列の順に並べる。さらに、声紋の照合を行うことによって、各音声を発したユーザーを特定する。各音声のテキストおよびその発声者を示す議事録テキストデータ（発言内容データ）を生成する。

そして、資料のデータにこの議事録テキストデータを付加するとともに、この注目位置の部分にこの議事録テキストデータにリンクしたアイコン５７を図１５（Ａ）のように配置する。このように資料のデータにテキストのデータを埋め込むことによって、テキスト議事録ファイル８１が生成される。テキスト議事録ファイル８１は、議事録データ記憶部１０９に記憶される。

なお、アイコン５７がクリックされると、図１５（Ｂ）のように、アイコン５７にリンクしている議事録テキストデータに基づいて議事録のテキストが吹出領域５８によって表示される。

次に、会議支援装置１および端末装置２の全体的な処理の流れを、図１６および図１７に示すフローチャートに基づいて説明する。図１６は、会議支援装置１における端末装置２への注目位置を通知する処理および議事録のデータの生成の処理の流れの一例を説明するフローチャートである。図１７は、端末装置２の全体的な処理の流れの一例を説明するフローチャートである。

まず、図１６を参照して、会議支援装置１における端末装置２への注目位置を通知する処理および議事録のデータの生成の処理の流れについて説明する。

発表者であるユーザーは、用意した資料を液晶ディスプレイ２０ｅに表示して参照しながら発表を行う。

会議支援装置１は、発表者の端末装置２から音声データを受信すると（＃６０１でＹｅｓ）、この音声データを音声認識し（＃６０２）、発表者を特定する（＃６０３）。

会議支援装置１は、例えば発表者がユーザーＡであることを特定すると、端末装置２Ａに対して注目位置について問い合せる（＃６０４）。会議支援装置１は、端末装置２Ａから回答のあった注目位置を、端末装置２Ｂ〜２Ｄに対して通知する（＃６０５）。

会議支援装置１は、注目位置の通知の処理と並行して、議事録の生成の処理を次のように行う。

会議支援装置１は、議事録の埋め込みの設定がなされているかを確認し、設定されている場合は（＃６０６でＹｅｓ）、議事録の形態がテキストであるか音声であるかを確認する。

会議支援装置１は、議事録の形態がテキストである場合は（＃６０７でＹｅｓ）、資料の中の、発表者の端末装置２から回答のあった注目位置に、各ユーザーの音声をテキスト化したテキストデータを埋め込む（＃６０８）。議事録の形態が音声である場合は（＃６０７でＮｏ）、会議支援装置１は、テキストデータの代わりに音声データを埋め込む（＃６０９）。

次に、図１７を参照して、端末装置２の全体的な処理の流れについて説明する。端末装置２は、ユーザーによって操作が行われまたは会議支援装置１からデータを受信するごとに、次の処理を適宜、実行する。

端末装置２は、会議支援装置１から注目位置について問合せがあった場合は（＃７０１でＹｅｓ）、注目位置を会議支援装置１に回答する（＃７０２）。

または、端末装置２は、会議支援装置１から注目位置についての通知があった場合は（＃７０３でＹｅｓ）、通知された注目位置を取得し（＃７０４）、図８に示すように、位置指示領域５２の中の、注目位置に該当するインデックスの上にアイコン５３を表示する（＃７０５）。

または、端末装置２は、ユーザーがアイコン５３を選択した場合は（＃７０６でＹｅｓ）、文書領域５１に、資料の中の注目位置の部分を表示する。これにより、発表者と同一の部分に表示が切り換わる（＃７０７）。

そのほか、端末装置２は、ユーザーの操作に応じて各種の設定値を示すデータを生成し、所定の場所に保存しまたは会議支援装置１へ送信する。

以上、本実施形態に係る会議支援システム１００およびその各部について説明した。本実施形態に係る会議支援システム１００によれば、リスナーが注目位置以外の画像を見ている場合であっても、注目位置がリスナーに指示されており、かついつでも画像を注目位置に切換えることができる。そのため、リスナーは注目位置を見失いにくい。また、会議支援システム１００は、会議の途中で発表者が変わっても、新しい発表者に対応して注目位置を変更することから、発表者が複数いる場合でも利用可能である。

また、発表者は、発表合図語句を発するという簡単な動作をするだけで、発言会議支援装置１により発表者として特定される。

さらに、会議支援システム１００は、会議中の音声をテキストデータあるいは音声データとして資料のデータに埋め込むことができるので、ユーザーは会議終了後に議事録を作成する手間が省ける。

本実施形態では、テキストデータ６１に発表合図語句が示されている場合は、発表者を切換える処理を行ったが、これ以外の条件において発表者を他のユーザーに切換える処理を行ってもよい。例えば、ユーザーがスイッチなどを押すことにより、発表者を切換えるコマンドを会議支援装置１に送信し、会議支援装置１が当該コマンドを受信した場合は、発表者を特定し直してもよい。

また、各端末装置２がカメラを備え、各ユーザーの画像を会議支援装置１に送信してもよい。そして、発表者を変更することを示す所定のジェスチャーをユーザーが行ったことを会議支援装置１が認識した場合は、発表者を特定し直してもよい。

また、所定時間が経過するごとに、発表者を特定し直してもよい。また、発言が所定時間途切れた後に再び発言が開始されたときに、発表者を特定し直してもよい。

また、特定のユーザーを司会者として予め決めておき、当該司会者の指示により発表者を特定し直してもよい。例えば、司会者が発表者の名前を発言した場合は、発表者を特定し直す処理を行ってもよい。

本実施形態では、発表者特定部１０３は音声の声紋を用いて発表者を特定しているが、発表者は自分の名前を言ってから発表し、音声認識により名前を認識して発表者を特定してもよい。

本実施形態では、アイコン５３などにより、注目位置を提示した。これら以外に、ウィンドウ５以外に別ウィンドウを開き、注目位置提示部２０３が別ウィンドウにおいて、資料の中の注目位置の部分を表示してもよい。

なお、会議支援システム１００によれば、会議支援装置１は、マイクロフォン３２、スピーカー３１および液晶プロジェクター３３に接続されていることから、ユーザーは会議支援装置１を用いて会議に参加することもできる。

なお、本実施形態に係る会議支援システム１００の全体または各部の構成、処理内容、処理順序、データの構成などは、本発明の趣旨に沿って適宜変更することができる。

１ 会議支援装置
２（２Ａ〜２Ｄ） 端末装置
７ 画像
５３ アイコン
５５ サムネイル
１００ 会議支援システム
１０１ 音声データ取得処理部（音声データ受信手段）
１０３ 発表者特定部（端末特定手段）
１０４ 注目位置問合せ部（注目位置受信手段）
１０６ 注目位置通知部（第２注目位置通知手段、注目位置通知手段）
１０８ 議事録データ生成部（議事録生成手段）
２０２ 注目位置回答部（第１注目位置通知手段）
２０４ 表示位置変更部（注目位置画像表示手段）
２０３ 注目位置提示部
２０５ 表示オプション設定部
２０６ 表示オプション記憶部

Claims (9)

1. 会議支援装置および複数台の端末装置を有する会議支援システムであって、
   前記会議支援装置には、
   前記複数台の端末装置のうちの話し手に使用される端末装置である第１端末装置を特定する端末特定手段が、設けられ、
   前記第１端末装置には、
   資料の中の、前記話し手が注目している位置である注目位置を、前記会議支援装置に通知する第１注目位置通知手段が、設けられ、
   前記会議支援装置には、
   前記第１注目位置通知手段から通知された前記注目位置を、前記複数台の端末装置のうちの前記話し手以外に使用される端末装置である第２端末装置に通知する第２注目位置通知手段が、設けられている、
   ことを特徴とする会議支援システム。
2. 前記第２端末装置には、
   前記注目位置を提示する注目位置提示手段が、設けられている、
   請求項１記載の会議支援システム。
3. 前記第２端末装置には、
   前記資料の中の、前記注目位置が示す部分の画像を表示する注目位置画像表示手段が、設けられている、
   請求項１または請求項２記載の会議支援システム。
4. 前記第２端末装置には、
   前記注目位置を提示する注目位置提示手段と、
   前記注目位置提示手段が提示する前記注目位置が選択されたときに、前記資料の中の、当該注目位置が示す部分の画像を表示する注目位置画像表示手段とが、設けられている、
   請求項１記載の会議支援システム。
5. 前記端末特定手段は、前記話し手により発声される音声に基づいて前記第１端末装置を特定する、
   請求項１ないし請求項４のいずれかに記載の会議支援システム。
6. 複数台の端末装置と連携して会議を支援する会議支援装置であって、
   前記端末装置のうちの話し手に使用される端末装置である第１端末装置を特定する端末特定手段と、
   前記第１端末装置から通知された、資料の中の、前記話し手が注目している位置である注目位置を、前記複数台の端末装置のうちの前記話し手以外に使用される端末装置である第２端末装置に通知する注目位置通知手段と、
   を有することを特徴とする会議支援装置。
7. 複数台の端末装置と連携して会議を支援する会議支援装置であって、
   前記端末装置のうちの話し手に使用される端末装置である第１端末装置を特定する端末特定手段と、
   前記第１端末装置から、資料の中の、前記話し手が注目している位置である注目位置を受信する、注目位置受信手段と、
   前記複数台の端末装置それぞれから発言の内容を示す発言内容データを受信する音声データ受信手段と、
   前記資料の中の前記注目位置が示す部分に前記発言内容データを対応付けた画像を付加することによって、議事録を生成する、議事録生成手段と、
   を有することを特徴とする会議支援装置。
8. 複数台の端末装置を用いた会議における会議支援方法であって、
   前記端末装置のうちの話し手に使用される端末装置である第１端末装置を特定する処理と、
   前記第１端末装置から通知された、資料の中の、前記話し手が注目している位置である注目位置を、前記複数台の端末装置のうちの前記話し手以外に使用される端末装置である第２端末装置に通知する処理と、
   ことを特徴とする会議支援方法。
9. 複数台の端末装置と連携して会議を支援するコンピューターに用いられるコンピュータープログラムであって、
   前記コンピューターに、
   前記端末装置のうちの話し手に使用される端末装置である第１端末装置を特定する処理と、
   前記第１端末装置から通知された、資料の中の、前記話し手が注目している位置である注目位置を、前記複数台の端末装置のうちの前記話し手以外に使用される端末装置である第２端末装置に通知する処理と、を実行させる、
   ことを特徴とするコンピュータープログラム。

Images