JP4458888B2 - 会議支援システム、議事録生成方法、およびコンピュータプログラム - Google Patents

Description

本発明は、会議の議事録を生成するシステムおよび方法に関する。

従来より、会議中の出席者の音声を録音し、音声認識処理によって会議録または議事録を生成する方法が提案されている。例えば、特許文献１に記載される方法によると、話者の発言をテキストデータに変換するとともに、発話の速さ、声の大きさ、および声の高さに基づいて話者の感情を推測することによって、議事録を生成する。これにより、話者がどのような状況で発話しているのかを、従来よりも容易に知ることができる。
特開２００３−６６９９１号公報

しかし、従来の方法では、議事録を見ることによって、話者の感情を知ることはできるが、その発言を聞いた周囲の出席者の感情を知ることは難しい。例えば、話者が「これに決定します。」という意見を発言したときに、他の出席者の感情は、その意見に対する発言がない限り、議事録に記録されない。よって、彼らがその意見に対してどのように考えているのかは分からない。また、発言が少ない出席者の考えを知ることも難しい。このように、従来の方法によって得られる議事録では、会議中の出席者の雰囲気や反応を詳しく知ることができない。

本発明は、このような問題点に鑑み、会議中の出席者の雰囲気および各人の反応を従来よりも詳しく知ることができる議事録を生成することを目的とする。

会議支援システムを、会議の出席者の顔の画像を入力する画像入力手段と、入力された前記画像に基づいて前記出席者ごとの感情を判別する感情判別手段と、前記出席者の音声を入力する音声入力手段と、入力された前記音声に基づいて、前記出席者の発言の内容を示すテキストデータを生成するテキストデータ生成手段と、入力された前記音声のパターンを分析することにより、前記発言を行った前記出席者である発言者を特定する発言者特定手段と、前記感情判別手段による判別結果、前記テキストデータ生成手段によって生成された前記テキストデータ、および前記発言者特定手段によって特定された前記発言者に基づいて、前記発言の内容と当該発言を行った前記出席者と当該発言があったときの前記各出席者の感情とを記録した議事録を生成する議事録生成手段と、によって構成する。

または、会議で話し合う１つまたは複数の議題を示す議題情報を記憶する議題情報記憶手段と、前記議題情報に示される前記議題が前記テキストデータの中に含まれる回数を前記議題別にカウントし、前記議題のうち前記テキストデータの中に含まれる回数が最も多い議題を当該テキストデータに示される前記発言に係る議題であると判別する議題判別手段と、を設ける。前記議事録生成手段は、前記議題判別手段による判別結果に基づいて、前記発言に係る前記議題を記録した前記議事録を生成する。

さらに、前記議事録に基づいて、次のような事項を判別する。例えば、前記議事録に記録された、前記議題に係る前記発言があったときの前記出席者の前記感情が出現した回数を前記感情別にカウントし、前記感情のうち所定の感情が出現した回数の割合が所定の値以上である場合に当該出席者が当該議題に関心を持っていると判別する。または、前記議事録に記録された、前記発言があったときの当該発言を行った者以外の前記出席者の前記感情に基づいて、当該発言を行った前記出席者が中心人物であるか否かを判別する。

本発明によると、会議中の出席者の雰囲気および各人の反応を従来よりも詳しく知るための議事録を生成することができる。

請求項３の発明によると、会議で取り上げられた議題ごとに出席者の雰囲気および各人の反応をより詳しく知ることができる。

図１は遠隔会議システム１００の全体的な構成の例を示す図、図２は会議支援システム１のハードウェア構成の例を示す図、図３は会議支援システム１の機能的構成の例を示す図である。

図１に示すように、遠隔会議システム１００は、本発明に係る会議支援システム１、端末システム２Ａ、２Ｂ、およびネットワーク４などによって構成される。会議支援システム１、端末システム２Ａ、および端末システム２Ｂは、ネットワーク４を介して互いに接続されている。ネットワーク４として、インターネット、ＬＡＮ（Local Area Network）、公衆回線、または専用線などが用いられる。

この遠隔会議システム１００は、互いに離れた複数の場所で会議を行うために用いられる。以下、次のような目的のために、遠隔会議システム１００が用いられる場合を例に説明する。（１）Ｘ社の社員は、顧客であるＹ社の社員と会議を行いたい。（２）Ｘ社の社員は、会議を円滑に進めることができるようにするためおよび今後のセールス活動などの参考にするために、会議の進捗具合に関する情報やＹ社の出席者に関する情報などを取得したい。（３）Ｘ社の社員は、Ｙ社の社員に対して不快を与えそうな発言をカット（ブロック）したい。

端末システム２ＡはＸ社に設置され、端末システム２ＢはＹ社に設置されている。

端末システム２Ａは、端末装置２Ａ１、ディスプレイ２Ａ２、およびビデオカメラ２Ａ３などによって構成されている。ディスプレイ２Ａ２およびビデオカメラ２Ａ３は、端末装置２Ａ１に接続されている。

ビデオカメラ２Ａ３は、デジタルビデオカメラであって、会議に出席しているＸ社の社員の顔を撮影する。また、ビデオカメラ２Ａ３にはマイクが設けられており、社員の発言の音声を集音する。ビデオカメラ２Ａ３によって得られた映像および音声のデータは、端末装置２Ａ１および会議支援システム１などを介して、Ｙ社の端末システム２Ｂに届けられる。出席者が多数いる場合は、複数台のビデオカメラ２Ａ３で撮影を行うようにしてもよい。

以下、会議に出席しているＸ社の社員を「Ｘ社の出席者」と記載し、会議に出席しているＹ社の社員を「Ｙ社の出席者」と記載する。

ディスプレイ２Ａ２は、例えばプラズマディスプレイなどの大型のディスプレイであって、Ｙ社のビデオカメラ２Ｂ３で撮影された、Ｙ社の出席者の顔の画像などを表示する。また、ディスプレイ２Ａ２にはスピーカが設けられており、Ｙ社の出席者の音声などを出力する。Ｙ社の出席者の映像および音声のデータは、端末装置２Ａ１によって受信される。つまり、端末装置２Ａ１は、双方の映像および音声のデータの送受信を行うための装置である。端末装置２Ａ１として、パーソナルコンピュータまたはワークステーションなどが用いられる。

端末システム２Ｂも、端末システム２Ａと同様に、端末装置２Ｂ１、ディスプレイ２Ｂ２、およびビデオカメラ２Ｂ３などによって構成されている。ビデオカメラ２Ｂ３は、Ｙ社の出席者の顔を撮影しおよび発言を集音する。ディスプレイ２Ｂ２は、Ｘ社の出席者の映像および音声を出力する。端末装置２Ｂ１は、双方の映像および音声のデータの送受信を行う。

このように、端末システム２Ａおよび端末システム２Ｂは、それぞれ、Ｘ社の出席者の映像および音声のデータおよびＹ社の出席者の映像および音声のデータを互いに送信し合う。以下、端末システム２Ａから送信（発信）される、映像のデータを「映像データ５ＭＡ」と記載し、音声のデータを「音声データ５ＳＡ」と記載する。また、端末システム２Ｂから送信（発信）される、映像のデータを「映像データ５ＭＢ」と記載し、音声のデータを「音声データ５ＳＢ」と記載する。

これらの映像データおよび音声データをリアルタイムで送受信することができるように、遠隔会議システム１００では、例えば、ＩＴＵ−Ｔ（国際電気通信連合電気通信標準化部門）などの機関が策定したテレビ電話またはテレビ会議に関する規格または勧告に基づくストリーミング技術を採用している。そこで、会議支援システム１、端末システム２Ａ、および端末システム２Ｂには、係るストリーミング技術に対応した、データの送受信のためのハードウェアおよびソフトウェアが備えられている。また、ネットワーク４の通信プロトコルとして、ＩＴＵ−Ｔの策定したＲＴＰ（Real-time Transport Protocol）およびＲＴＣＰ（Real-time Transport Control Protocol）などが用いられる。

会議支援システム１は、図２に示すように、ＣＰＵ１ａ、ＲＡＭ１ｂ、ＲＯＭ１ｃ、磁気記憶装置１ｄ、ディスプレイ１ｅ、マウスまたはキーボードなどの入力装置１ｆ、および各種インタフェースなどによって構成される。

磁気記憶装置１ｄには、図３に示すような、データ受信部１０１、テキストデータ生成部１０２、感情判別部１０３、トピック判別部１０４、議事録生成部１０５、分析処理部１０６、データ送信部１０７、イメージ合成部１０８、音声ブロック処理部１０９、およびデータベース管理部１ＤＢなどの機能を実現するためのプログラムおよびデータがインストールされている。これらのプログラムおよびデータは必要に応じてＲＡＭ１ｂにロードされ、ＣＰＵ１ａによってプログラムが実行される。図３の一部または全部の機能を、ハードウェアによって実現するようにしてもよい。

以下、会議支援システム１、端末システム２Ａ、および端末システム２Ｂの処理内容などについて、さらに詳細に説明する。

図４はデータベース管理部１ＤＢの構成の例を示す図、図５は発言テキストデータ６Ｈの例を示す図、図６は感情データ６Ｆの例を示す図、図７は目録データ６Ｄの例を示す図、図８はトピックデータ６Ｐの例を示す図、図９は議事録データＧＤＴの例を示す図、図１０は相手側の様子を示す画像ＧＡおよび感情画像ＧＢの表示例を示す図、図１１は感情画像ＧＢに用いられる記号の例を説明する図である。

図３のデータベース管理部１ＤＢは、図４に示すように、動画音声データベースＲＣ１、発言解析データベースＲＣ２、会議目録データベースＲＣ３、会議録データベースＲＣ４、および分析結果データベースＲＣ５などのデータベースを有し、これらのデータベースの管理を行う。データベースの内容については後に順次説明する。

データ受信部１０１は、端末システム２Ａから発信された映像データ５ＭＡおよび音声データ５ＳＡおよび端末システム２Ｂから発信された映像データ５ＭＢおよび音声データ５ＳＢを受信する。受信されたこれらの映像データおよび音声データは、図４の動画音声データベースＲＣ１に保存しておく。これにより、会議の映像および音声が記録（録画、録音）される。

テキストデータ生成部１０２は、受信された音声データ５ＳＡ、５ＳＢに基づいて、図５のような、Ｘ社、Ｙ社の出席者の発言の内容を示す発言テキストデータ６Ｈを生成する。係る生成処理は、例えば、次のようにして行われる。

まず、音声データ５ＳＡに対して公知の音声認識処理を行い、テキストデータに変換する。テキストデータを１文（センテンス）ごとに区切っておく。例えば、所定の時間以上（例えば、１秒以上）発言が止まった場合に、区切りを入れて１つのセンテンスとする。または、発言者が変わった場合に、区切りを入れて１つのセンテンスとする。

センテンスごとに、そのセンテンスが発言された時刻を対応付ける。さらに、声紋分析を行うなどして、センテンスごとの発言者を識別する。ただし、ここでは、センテンスの発言者が具体的にどの出席者であるか、ということまで特定する必要はなく、あるセンテンスの発言者と他のセンテンスの発言者とが同一人物であるか否か、ということが区別できればよい。例えば、Ｘ社の出席者が３人である場合は、音声データ５ＳＡより３種類の声のパターンが検出される。この場合は、「出席者ＸＡ」、「出席者ＸＢ」、「出席者ＸＣ」という仮の名前を作り、これらの仮の名前によってセンテンスごとの発言者が誰であるのかを識別すればよい。

これと並行して、音声データ５ＳＢに対して、音声データ５ＳＡの場合と同様に、音声認識処理、各センテンスと時刻とを対応付ける処理、および各センテンスの発言者を識別する処理を行う。

そして、音声データ５ＳＡ、５ＳＢについての処理結果を１つに合わせ、時刻順に並べ替える。これにより、図５に示すような発言テキストデータ６Ｈが生成される。生成された発言テキストデータ６Ｈは、発言解析データベースＲＣ２（図４参照）に保存しておく。

感情判別部１０３は、データ受信部１０１によって受信された映像データ５ＭＡ、５ＭＢに基づいてＸ社、Ｙ社の各出席者の、所定の時間ごと（例えば、１秒ごと）の感情を判別する。画像に基づいて人間の感情を判別する技術は、数多く提案されているが、例えば、次の公知技術文献１に記載される方法を用いればよい。
公知技術文献１：”福祉利用を目的とした顔画像からの感情データの復号技術に関する研究”，宮川道夫，電気通信普及財団調査報告書，Ｎｏ．１７，第２７４頁〜第２８０頁，２００２年

公知技術文献１に記載される方法によると、映像データに含まれるある時刻の画像（フレーム画像）とその前後の時刻のフレーム画像とに基づいて、各出席者の顔のオプティカルフローを算出する。これにより、各出席者の目の領域および口の領域の動きが求められる。そして、これらの領域の動き方に基づいて「笑い」、「悲しみ」、「驚き」、および「怒り」などの感情を判別する。

または、「笑い」および「怒り」などの感情ごとに各出席者の顔の表情のパターン画像をテンプレートとして予め用意しておき、フレーム画像より抽出された顔領域とテンプレートとをマッチングすることによって、感情を判別してもよい。顔領域の抽出方法は、上の公知技術技術１に記載されるようなオプティカルフロー法を用いてもよいし、次の公知技術文献２に記載される方法を用いてもよい。そのほか、出席者の鼻頭の熱を検知し、その検知結果に基づいて感情を判別する方法などを用いてもよい。
公知技術文献２：”温度画像を用いた発声時の表情認識”，池添史隆，胡玲琴，谷尻豊寿，吉冨康成，ヒューマンインタフェース学会論文誌，２００４年６月，第１９頁〜第２７頁

感情の判別結果は、図６に示すように、出席者ごとに纏められ、判別のために用いられたフレーム画像の撮影時刻と対応付けられ、感情データ６Ｆとして発言解析データベースＲＣ２（図４参照）に保存される。本実施形態では、「喜び」、「悲しみ」、「リラックス」、「怒り」、および「緊張」の５種類の感情を判別する。感情データ６Ｆの「１」〜「５」の値は、それぞれ、「喜び」、「悲しみ」、「リラックス」、「怒り」、および「緊張」を示している。

ところで、上記の方法によって発言テキストデータ６Ｈ（図５参照）と各出席者の感情データ６Ｆとを得ただけでは、発言テキストデータ６Ｈに示される各発言者（出席者）がどの感情データ６Ｆに対応するのかが分からない。そこで、会議が終わった後または会議中に、会議を主催するＸ社は、その対応関係を設定する必要がある。

または、会議の前に、各出席者の音声および顔画像のサンプルを予め取得しておき、対応付けを行っておいてもよい。例えば、出席者ごとに、氏名、声紋の特徴を表す声紋特徴データ、および表情（上記の５種類の感情）ごとの顔画像データを互いに対応付けてデータベースに用意しておく。そして、受信された映像データ５ＭＡ、５ＭＢおよび音声データ５ＳＡ、５ＳＢを、用意しておいた顔画像データまたは声紋特徴データとマッチングすることによって、話者を特定し、発言テキストデータ６Ｈに示される各発言者がどの感情データ６Ｆと対応するのかを知ることができる。

以下、図５の発言テキストデータ６Ｈおよび図６の感情データ６Ｆについてこのような対応付けがなされている（つまり、図５および図６の同名の出席者は同一人物である）ものとして、説明する。

図４の会議目録データベースＲＣ３は、図７に示すような目録データ６Ｄを保存している。目録データ６Ｄは、会議で取り上げる題目およびトピックの一覧（目録、目次）を示している。本実施形態において、「題目」は大きなテーマ（大きな議題）を意味し、「トピック」はそのテーマに関する各論（小さな議題）を意味する。「キーワード」は、そのトピックに関連する語句（単語、フレーズ）である。

Ｘ社の出席者は、会議が始まる前に、端末装置２Ａ１を操作するなどして、目録データ６Ｄを作成し、その目録データ６Ｄを会議目録データベースＲＣ３に登録しておく。または、会議中または会議後に目録データ６Ｄを登録してもよい。ただし、目録データ６Ｄは、次に説明するトピックの判別処理のために必要なので、少なくとも、係る処理を開始までには登録しておかなければならない。

図３に戻って、トピック判別部１０４は、会議の全体の時間を所定の長さの時間ごとに区切り、その区切った時間（以下、「所定区間」と記載する。）ごとに、話し合われた内容がどのトピックに関するものであるのかを判別する。係る判別処理は、次のようにして行われる。

例えば、まず、会議の全体の時間を５分の所定区間に区切る。図５の発言テキストデータ６Ｈの中から、ある所定区間に発言されたセンテンスをすべて抽出する。抽出されたセンテンスに、目録データ６Ｄに示される各トピックの名称がそれぞれ幾つ含まれているかをカウントする。そして、最も多くカウントされたトピックを、その所定区間に話し合われたトピックであると判別する。なお、トピックの名称だけでなく「キーワード」に示される語句が幾つ含まれるかをもカウントすることによって、トピックの判別を行ってもよい。

このようにして、所定区間ごとのトピックの判別を行った結果、図８に示すようなトピックデータ６Ｐが得られる。なお、トピックデータ６Ｐにおいて「時刻」は所定区間の開始時刻を示している。トピックデータ６Ｐは、発言解析データベースＲＣ２（図４参照）に保存される。

議事録生成部１０５は、発言テキストデータ６Ｈ（図５参照）、各出席者の感情データ６Ｆ（図６参照）、およびトピックデータ６Ｐに基づいて、次のような手順で会議の議事録を生成する。

まず、発言テキストデータ６Ｈに含まれるセンテンスごとに、各出席者の感情を求める。例えば、「会議を始めます。」というセンテンスは、１５時２０分０秒からの５秒の間に発言されている。そこで、その５秒間の感情を示す５つの値を、感情データ６Ｆより抽出する。抽出された５つの値のうち、出現頻度が最も多いものを選択する。例えば、出席者ＸＡについては「５」が選択され、出席者ＹＣについては「３」が選択される。

このようにして選択されたセンテンスごとの各出席者の感情を示す値、トピックデータ６Ｐの各値（レコード）、および発言テキストデータ６Ｈの各値（レコード）を、互いに時刻が一致するように結合する。これにより、図９に示すような議事録データＧＤＴが生成される。生成された議事録データＧＤＴは、会議録データベースＲＣ４（図４参照）に保存しておく。

議事録データＧＤＴを生成する処理は、会議の終了後に実行してもよいし、会議の進行と並行して実行してもよい。前者の場合は、データ送信部１０７は、生成された議事録データＧＤＴをファイル化し、Ｘ社の出席者および所定の社員（例えば、Ｘ社の出席者の上司など）に電子メールなどによって配付する。

後者の場合は、会議の進行とともに議事録生成部１０５によって次々と生成されるデータを、すぐに端末装置２Ａ１に送信する。本実施形態では、トピックの判別を５分単位で行っているので、５分間の分の議事録データＧＤＴを逐次送信する。また、会議の終了後に完成した議事録データＧＤＴファイル化し、Ｘ社の出席者および所定の社員に電子メールなどによって配付する。

そのほか、データ送信部１０７は、データ受信部１０１が受信した映像データ５ＭＡおよび音声データ５ＳＡを端末システム２Ｂに送信し、映像データ５ＭＢおよび音声データ５ＳＢを端末システム２Ａに送信する。ただし、映像データ５ＭＢは、イメージ合成部１０８によって次のような処理が施されてから送信される。

イメージ合成部１０８は、映像データ５ＭＢに対してスーパーインポーズ処理を行って、図１０に示すように、ビデオカメラ２Ｂ３で撮影された画像ＧＡに現在の出席者の感情を示す感情画像ＧＢを重ね合わせて合成する処理を行う。図１０の例ではＹ社の出席者の感情を記号によって表示しているが、Ｘ社およびＹ社の両方の出席者の感情を表示してもよいし、「喜び」または「怒り」などの文字で表示してもよい。感情画像ＧＢの記号がどのような感情を意味するのかは、図１１で説明する通りである。

または、イメージ合成部１０８で重ね合わせの処理を行わずに映像データ５ＭＢおよび感情画像ＧＢの画像データを送信し、端末システム２Ａで重ね合わせの処理を行うようにしてもよい。

これにより、会議の進行役は、出席者の感情がヒートアップしていることをすぐに把握することができ、休憩を取るなどして出席者の感情をコントロールし、会議を円滑に進めることができる。また、Ｘ社の提案についてのＹ社の出席者の反応をすぐに把握することができるので、従来よりも会議の成果が得やすくなる。

なお、本実施形態では、上に述べた（２）を目的としているので、Ｘ社に対してのみ感情画像ＧＢを表示しているが、もちろん、Ｙ社の出席者に対しても感情画像ＧＢを表示するようにしてもよい。

会議中、話し合いが終わったトピックが再び取り上げられることがある。そうすると、会議が円滑に進まなくなってしまうおそれがある。例えば、図９の議事録データＧＤＴによると、一旦話し合いが終わった「ストレージ」が１５時５１分頃に再び取り上げられていることが分かる。このような場合は、イメージ合成部１０８は、「トピックがループしています」などの注意を促すメッセージを重ね合わせる処理を、映像データ５ＭＢに対して行ってもよい。

端末システム２Ａ、２Ｂは、会議支援システム１から送信されてきた映像データおよび音声データに基づいて、相手の映像および音声を出力する。

〔会議終了後の分析処理〕
図１２は分析処理部１０６の構成の例を示す図、図１３は題目別感情分析データ７１の例を示す図、図１４はトピック別感情分析データ７２の例を示す図、図１５はキーマン判別処理の流れの例を説明するフローチャート、図１６はあるトピックに関する議論の時間帯におけるＹ社の各出席者の感情の変化を示す図、図１７は特性分析データ７３の例を示す図、図１８は個人別関心データ７４の例を示す図、図１９はトピック別関心データ７５の例を示す図である。

図３の分析処理部１０６は、図１２に示すように、題目別感情分析部１６１、トピック別感情分析部１６２、出席者特性分析部１６３、個人別関心分析部１６４、およびトピック別関心分析部１６５などによって構成され、図９の議事録データＧＤＴなどに基づいて、上に述べた（２）および（３）の目的を達成するのに必要なデータを取得するための分析処理を行う。

題目別感情分析部１６１は、目録データ６Ｄ（図７）に示される題目ごとに、話し合いに掛かった時間および各出席者の感情などを、図１３に示すように集計する（統計を取る）。話し合いに掛かった時間は、その題目に属するトピックに係るセンテンスのデータを議事録データＧＤＴより抽出し、これらのセンテンスの発言時間を「時刻」の値に基づいて算出しそれを合計することによって、求めることができる。

出席者の感情は、次のような処理によって集計する。まず、議事録データＧＤＴより抽出した、その題目に属するトピックに係るセンテンスのデータに基づいて、処理対象の出席者について、５種類の感情（「喜び」、「悲しみ」など）がそれぞれ何回表れたのかをカウントする。そして、各感情の出現率（５種類の感情の出現回数の合計に対する出現率）を算出する。

このような分析処理の結果、図１３に示すような題目別感情分析データ７１が、出席者ごとに生成される。同様に、Ｘ社の出席者全体の題目別感情分析データ７１、Ｙ社の出席者全体の題目別感情分析データ７１、およびＸ社およびＹ社の出席者全体の題目別感情分析データ７１も求めておいてもよい。これらの題目別感情分析データ７１は、分析結果データベースＲＣ５（図４参照）に保存しておく。

トピック別感情分析部１６２は、目録データ６Ｄ（図７）に示されるトピックごとに話し合いに掛かった時間および各出席者の感情などを集計し（統計を取り）、図１４に示すようなトピック別感情分析データ７２を求める。集計（統計）の方法は、題目別感情分析データ７１を求める場合と基本的に同じであるので、説明を省略する。Ｘ社の出席者全体のトピック別感情分析データ７２、Ｙ社の出席者全体のトピック別感情分析データ７２、およびＸ社およびＹ社の出席者全体のトピック別感情分析データ７２も求めておいてもよい。これらのトピック別感情分析データ７２は、分析結果データベースＲＣ５に保存しておく。

出席者特性分析部１６３は、出席者がどのような特性を有しているのかを分析する処理を行う。本実施形態では、トピックごとに、Ｙ社の出席者のうちの誰がキーマン（キーパーソン、中心人物）であるか、および、誰がそのキーマンに追従する追従者（小判鮫タイプ、イエスマン）であるかを、分析する。

キーマンの感情に変化が生じると、それに釣られて周囲にいる仲間の感情にも変化が生じる。例えば、キーマンがリラックスし、緊張し、喜び、または悲しむと、同じように、仲間もリラックスし、緊張し、喜び、または悲しむ。キーマンが怒ると、仲間は緊張してしまう。このような法則を用いて、図１５に示すような手順でキーマンの分析を行う。

例えば、「ストレージ」というトピックのキーマンを分析する場合は、ストレージについて話し合われた時間帯のＹ社の出席者の感情の値を、図１６に示すように抽出する（図１５の＃１０１）。

１人目の出席者（例えば、出席者ＹＡ）について、図１６の抽出結果の中から感情が変化しているところを検出する（＃１０２）。すると、丸数字１〜４のときに、出席者ＹＡの感情が変化していることが分かる。

それぞれの直後に、他の出席者ＹＢ〜ＹＥの感情がどのように変化しているかを検知し（＃１０３）、上記の法則の通りに感情が変化した人数をカウントする（＃１０４）。その結果、上記の法則の通りに感情が変化した人数が過半数以上である場合は（＃１０５でＹｅｓ）、出席者ＹＡがキーマンである可能性が高いと推測し、出席者ＹＡのカウンタＣＲＡに１点を加算する（＃１０６）。

例えば、丸数字１のときにおいて、出席者ＹＡの感情は「１（喜び）」に変化しているが、その直後に感情が「１（喜び）」に変化した出席者は４人中１人だけである。よって、この場合は、カウンタＣＲＡへの点数の加算は行わない。丸数字２において、出席者ＹＡの感情は「４（怒り）」に変化しているが、その直後に感情が「５（緊張）」に変化した出席者は４人中３人である。よって、カウンタＣＲＡに１点を加算する。このように、カウンタＣＲＡによってカウントされる値は、出席者ＹＡがキーマンである可能性の高さを示している。

２人目〜５人目（出席者ＹＢ〜ＹＥ）についても同様に、ステップ＃１０２〜＃１０６の処理を行い、カウンタＣＲＢ〜ＣＲＥに点数を加算していく。

Ｙ社の全出席者についてステップ＃１０２〜＃１０６が終わったら（＃１０７でＹｅｓ）、カウンタＣＲＡ〜ＣＲＥを比較し、最も大きい値が格納されているカウンタを有する出席者をキーマンに決定する（＃１０８）。または、キーマンが複数いる場合もあるので、所定の値以上または所定の割合以上の点数が格納されているカウンタを有するすべての出席者をキーマンに決定してもよい。

キーマンに追従する追従者の感情は、キーマンの感情に同調することが多い。特に、追従者は、キーマンが怒ると一緒になって怒る。そこで、このような法則を用いて、次のようにして追従者の分析を行う。

例えば、図１５の処理を行った結果、「ストレージ」のトピックのキーマンが出席者ＹＣであると判別されたとする。この場合は、出席者ＹＣが怒った直後に他の４人の出席者ＹＡ、ＹＢ、ＹＤ、ＹＥの感情がそれぞれどのように変化したのかを、図１６の抽出データに基づいて検知する。そして、「４（怒り）」に変化した出席者のカウンタに１点を加算する。例えば、丸数字３のときに出席者ＹＣの感情が「４（怒り）」に変化しているが、その直後に「４（怒り）」に変化したのは出席者ＹＥだけである。よって、出席者ＹＥのカウンタＣＳＥに１点を加算する。出席者ＹＡ、ＹＢ、ＹＤのカウンタＣＳＡ、ＣＳＢ、ＣＳＤには加算しない。ほかにも出席者ＹＣの感情が「４（怒り）」に変化しているところを調べ、他の４人の出席者の感情の変化に基づいてカウンタの加算処理を行う。

そして、カウンタＣＳＡ、ＣＳＢ、ＣＳＤ、ＣＳＥを比較し、最も大きい値が格納されているカウンタを有する出席者を追従者に決定する。または、追従者が複数いる場合もあるので、所定の値以上または所定の割合以上の点数が格納されているカウンタを有する出席者すべてを追従者に決定してもよい。

出席者特性分析部１６３は、以上説明したようにして、トピックごとに、Ｙ社の出席者のうちの誰がキーマンであり誰が追従者であるかを分析する。分析結果は、図１７に示すような特性分析データ７３として分析結果データベースＲＣ５（図４参照）に保存される。

一般に、出席者の中の最も上の役職の人が実質的なキーマンであるとは限らない。また、最も上の役職の人が実は追従者であることもあり得る。しかし、上に説明したように、出席者特性分析部１６３は、各出席者が互いにどのように影響し合っているかに基づいて特性分析データ７３を生成する。よって、Ｘ社の出席者は、相手の肩書きや相手に対する先入観などに惑わされることなく、Ｙ社の潜在的なキーマンおよび追従者を容易に推測することができる。

図１２の個人別関心分析部１６４は、出席者がどのトピックに関心を有しているのかを分析する処理を行う。本実施形態では、Ｙ社の各出席者が、どのトピックについて良い関心（肯定的な関心、感想）を持ち、どのトピックについて悪い関心（否定的な関心、感想）を持っているのかを、次のようにして分析する。

分析対象の出席者のトピック別感情分析データ７２（図１４参照）に基づいて、その出席者にとって肯定的な（良い）トピックと否定的な（悪い）トピックとを判別する。例えば、「喜び」および「リラックス」の割合が所定の割合（例えば、５０％）以上であれば肯定的なトピックと判別し、「怒り」および「悲しみ」の割合が所定の割合（例えば、５０％）以上であれば否定的なトピックと判別する。例えば、出席者ＹＡのトピック別感情分析データ７２が図１４に示すような内容である場合は、出席者ＹＡにとって、「ストレージ」および「人事システム」は否定的なトピックであり、「ＣＴＩ」および「オンライン予約」は肯定的なトピックである、と判別する。

分析対象の出席者が肯定的なトピックについてそれぞれ何回発言したのかを、議事録データＧＤＴ（図９参照）より計数する。そして、発言の回数の多いものほど、肯定的な関心度が高いトピックであると判別する。同様に、否定的なトピックについてもそれぞれ発言回数を計数し、発言の回数の多いものほど、否定的な関心度が高いトピックであると判別する。このようにして、図１８に示すような個人別関心データ７４がＹ社の出席者ごとに得られる。

トピック別関心分析部１６５は、各トピックについて、出席者のうちの誰が最も肯定的な（良い）関心を持ち、誰が最も否定的な（悪い）関心を持っているのかを分析する。本実施形態では、Ｙ社の出席者を対象に分析する。

例えば、「ストレージ」というトピックについて分析する場合は、「ストレージ」について話し合われた時間帯における感情が「喜び」または「リラックス」である割合が所定の割合以上である出席者を、各出席者のトピック別感情分析データ７２（図１４参照）に基づいて判別する。それらの出席者の「ストレージ」についての発言の回数を議事録データＧＤＴ（図９参照）より計数する。そして、発言回数が多い出席者ほど肯定的な関心度が高いと判別する。

同様に、「ストレージ」について話し合われた時間帯における感情が「怒り」または「悲しみ」である割合が所定の割合以上である出席者を判別し、それらの出席者のうち「ストレージ」に関する発言回数が多い出席者ほど否定的な関心度が高いと判別する。

このようにして、図１９に示すようなトピック別関心データ７５がトピックごとに得られる。

以上説明したように、議事録生成部１０５および分析処理部１０６の処理によって、議事録データＧＤＴ、題目別感情分析データ７１、トピック別感情分析データ７２、特性分析データ７３、個人別関心データ７４、およびトピック別関心データ７５などのデータを生成することができる。

Ｘ社の出席者および関係者は、これらのデータに基づいて、会議の目的を達成することができたか否か、最も議論されたトピックは何か、各トピックにどれくらいの時間を費やしたか、Ｙ社の反応がよかったトピックおよび反応が悪かったトピックは何か、同じトピックが何度もループするなどの非効率な部分がなかったか否か、および実質的な決定権を持っていそうな出席者（キーマン）は誰かなど、今回の会議に関して様々に考察することができる。そして、次回の会議を開催するまでに、それぞれのトピックについてどのように話し合いを進行すればよいか、誰をターゲットに話をしたほうがよいか、および慎重に話し合うべきであるトピック（危険なトピック）は何かなど、様々な対策を事前に立てておくことができる。

〔２回目以降の会議において効果的な処理〕
図２０は相手側の様子を示す画像ＧＡに感情画像ＧＢおよび個人特性画像ＧＣを重ね合わせて表示する例を示す図、図２１は個人特性マトリックスＧＣ’の例を示す図、図２２はカット語句データ６Ｃの例を示す図である。次に、２回目以降の会議において特に効果的な処理について説明する。

図３のイメージ合成部１０８は、会議中に、Ｘ社の出席者からの要求に応じて、以前に開催された会議の議事録データＧＤＴおよび題目別感情分析データ７１〜トピック別関心データ７５などの、会議録データベースＲＣ４および分析結果データベースＲＣ５に保存されている情報（データ）を、Ｙ社の出席者の画像に重ね合わせる処理を行う。

例えば、「ストレージ」のキーマン、最も肯定的な考え（関心）を有する出席者、および最も否定的な考え（関心）を有する出席者を表示すべき旨の要求を受けると、図２０に示すように、画像ＧＡに個人特性画像ＧＣを重ね合わせる処理を行う。

または、図２０の個人特性画像ＧＣの代わりに、図２１に示すような、複数のトピックのキーマン、肯定的人物、および否定的人物を纏めた個人特性マトリックスＧＣ’を画像ＧＡに重ね合わせてもよい。出席者の人数が多い場合は、個人特性マトリックスＧＣ’において、肯定的な関心度の高い出席者および否定的な関心度の高い出席者としてそれぞれの上位数人（例えば、３人）を示すようにしてもよい。なお、黒丸、白丸、および黒四角は、それぞれ、キーマン、肯定的人物、および否定的人物を意味する。

このように、個人特性画像ＧＣまたは個人特性マトリックスＧＣ’を表示することによって、Ｘ社の出席者にとって、Ｙ社の出席者ごとの対策が練りやすくなる。例えば、否定的な考えを持っている者に対しては、会議が終わった後で個別に説明をするなどして、Ｘ社の意見や主張を理解してもらうことができる。また、感情画像ＧＢと個人特性画像ＧＣなどとを比較することによって、出席者の考え方が前回の会議からどのように変化したかを容易に推測することができる。

音声ブロック処理部１０９は、前に述べた（３）の目的（Ｙ社の出席者に不快を与えそうな発言をカットすること）のために、所定の語句（単語、フレーズ）をカットする処理を音声データ５ＳＡに対して施す。係る処理は、次のような手順で行われる。

Ｘ者の出席者は、図２２に示すような、カットしたい語句の一覧であるカット語句データ６Ｃを予め用意しておく。カット語句データ６Ｃは、以前の会議の分析結果に基づいて自動的に生成するようにしてもよい。例えば、Ｙ社の出席者の全員が否定的な関心を示したトピックまたはキーマンが否定的な関心を示したトピックが含まれるように、カット語句データ６Ｃを生成してもよい。または、Ｘ社の出席者が、端末装置２Ａ１を操作して、Ｙ社の競合他社の名前や、仲の悪い人の名前、または「何となく」というような曖昧な言い回しの語句などを、カット語句データ６Ｃに追加するようにしてもよい。

音声ブロック処理部１０９は、データ受信部１０１によって受信された音声データ５ＳＡに、カット語句データ６Ｃに示される語句が含まれているかどうかをチェックする。含まれている場合は、その語句だけがカットされるように音声データ５ＳＡを編集する。データ送信部１０７は、編集がなされた音声データ５ＳＡを、Ｙ社の端末システム２Ｂに送信する。

図２３は会議支援システム１の全体的な処理の流れの例を説明するフローチャート、図２４は映像音声中継処理の流れの例を説明するフローチャート、図２５は議事録生成処理の流れの例を説明するフローチャート、図２６は分析処理の流れの例を説明するフローチャートである。

次に、端末システム２Ａと端末システム２Ｂとを中継する際の会議支援システム１の処理の流れを、フローチャートを参照して説明する。

図２３において、Ｘ社の出席者は、会議が始まる前に、図７のような目録データ６Ｄおよび図２２のようなカット語句データ６Ｃを用意し、図４の会議目録データベースＲＣ３に登録しておく（＃１）。なお、会議録の生成処理を会議後に実行するのであれば、目録データ６Ｄは、会議後に登録すればよい。

会議が始まると、端末システム２Ａ、２Ｂから双方の映像および音声のデータが送信されてくる。会議支援システム１は、これらのデータを受信すると（＃２）、Ｘ社の映像および音声のデータをＹ社に送信しＹ社の映像および音声のデータをＸ社に送信するための処理を行う（＃３）。また、ステップ＃３の処理と並行して、議事録を生成する処理を行う（＃４）。ステップ＃３の処理は、図２４に示すような手順で行われる。

図２０に示すように、Ｙ社の映像（画像ＧＡ）に、Ｙ社の出席者の感情を示す感情画像ＧＢを重ね合わせる処理を行う（図２４の＃１１１）。Ｙ社の出席者の感情は、並行して実行されるステップ＃４の処理によって求められる（図２５参照）。さらに、Ｘ社の出席者からの要求に応じて、以前の会議によって得られた資料のデータを画像ＧＡに重ね合わせる処理を行う（＃１１２）。例えば、図２０および図２１に示すように、個人特性画像ＧＣまたは個人特性マトリックスＧＣ’などを重ね合わせる。

ステップ＃１１１、＃１１２の処理と並行して、Ｙ社の出席者に不快を与えそうな語句を、Ｘ社の音声よりカットする処理を行う（＃１１３）。そして、これらの処理がなされた、Ｘ社の映像および音声のデータをＹ社の端末システム２Ｂに送信し、Ｙ社の映像および音声のデータをＸ社の端末システム２Ａに送信する（＃１１４）。

図２３のステップ＃４の処理は、図２５に示すような手順で行われる。Ｘ社、Ｙ社のそれぞれの音声データに基づいてＸ社、Ｙ社の出席者の発言をテキストデータ化する（図２５の＃１２１）。これと並行して、各センテンスの発言者を判別し（＃１２２）、Ｘ社、Ｙ社のそれぞれの映像データ（顔画像）に基づいてＸ社、Ｙ社の出席者の感情を判別する（＃１２３）。会議の全体の時間を所定の長さ（例えば、５分）の時間（所定区間）に区切り、その所定区間ごとに、話し合われた内容がどのトピックに関するものであるのかを判別する（＃１２４）。

生成されたテキストデータ、発言者の判別結果、および各出席者の感情の判別結果をマッチングすることによって、図９の議事録データＧＤＴを順次生成していく（＃１２５）。なお、議事録データＧＤＴを生成する処理は、会議の終了後に実行するようにしてもよい。ただし、図２４のステップ＃１１１において感情画像ＧＢを重ね合わせる必要があるので、Ｘ社、Ｙ社の出席者の感情を判別する処理（＃１２４）は、会議の進行に合わせてリアルタイムに実行しなければならない。

図２３に戻って、端末システム２Ａ、２Ｂから映像および音声のデータが送信されてくる間（＃５でＮｏ）、ステップ＃２〜＃４の処理を繰り返す。

会議が終了して議事録データＧＤＴが完成した後（＃５でＹｅｓ）、その議事録データＧＤＴに基づいてＹ社の出席者などに関する分析の処理を行う（＃６）。すなわち、図２６に示すように、各出席者の感情についてトピックまたは題目ごとに統計を取り（＃１３１）、トピックごとにキーマンおよびその追従者を判別し（＃１３２）、トピックごとに肯定的な関心度の高い出席者および否定的な関心度の高い出席者を判別する（＃１３３）。その結果、題目別感情分析データ７１、トピック別感情分析データ７２、特性分析データ７３、個人別関心データ７４、およびトピック別関心データ７５（図１３、図１４、図１７、図１８、および図１９参照）が生成される。

本実施形態によると、議事録が会議支援システム１によって自動的に作成されるので、記録係の出席者は会議中に議事録を取らなくてもよく、会議に集中することができる。会議支援システム１は、議事録を分析して、トピックごとに、キーマン、肯定的な関心や感想を持つ者、および否定的な関心や感想を持つ者を判別する。これにより、会議の進行役は、会議の進行の仕方や各出席者に対する対策などを容易に講じることができる。例えば、キーマンの嫌いなトピックについては、別の日に改めて説明するなどの対策を取ることができる。

顧客との会議、打合せ、または商談に限らず、自社内の会議などに遠隔会議システム１００を使用することもできる。そうすると、自社の社員がどんなトピックについて関心を持っているのか、誰が潜在的なキーマンであるか、および誰と誰との意見が対立しているのか、などを容易に知ることができるので、プロジェクトメンバの選定などに好適に用いることができる。

本実施形態では、１つの発言について各出席者の感情をそれぞれ１つ求めたが、１つの発言中の感情を複数求めることによって感情の変化が分かるようにしてもよい。例えば、発言が始まった時刻、発言の中間の時刻、および発言が終わった時刻のそれぞれにおける感情を求め、議事録に記録してもよい。

本実施形態では、端末システム２Ａ、２Ｂから受信した映像データおよび音声データを、必要に応じて画像合成または語句のカット処理などの加工処理を行い、相手側の端末システム２Ｂ、２Ａに送信した。つまり、本実施形態では会議支援システム１は映像データおよび音声データを中継する処理を行ったが、次のような場合は、端末システム２Ａ、２Ｂは、映像データおよび音声データのやり取りを、会議支援システム１を介さずに直接行ってもよい。

図３の音声ブロック処理部１０９による不快な語句のカット処理を行わない場合は、端末システム２Ａ、２Ｂは、会議支援システム１および相手の端末システム２Ｂ、２Ａに音声データを送信する。会議支援システム１は、端末システム２Ａ、２Ｂより受信した音声データを、議事録データＧＤＴの生成および各種分析のためだけに使用する。データ送信部１０７は、端末システム２Ａ、２Ｂへの音声データの送信（中継）は行わない。その代わりに、端末システム２Ａ、２Ｂは、相手の端末システム２Ｂ、２Ａから直接送信されてくる音声データに基づいて、出席者の音声を出力する。

図１０または図２０に示すような画像の合成（重ね合わせ）の処理が必要ない場合または係る処理を端末システム２Ａ、２Ｂで行う場合も同様に、端末システム２Ａ、２Ｂは、会議支援システム１および相手の端末システム２Ｂ、２Ａに映像データを送信する。会議支援システム１は、端末システム２Ａ、２Ｂより受信した映像データを、議事録データＧＤＴの生成および各種分析のためだけに使用する。データ送信部１０７は、端末システム２Ａ、２Ｂへの映像データの送信（中継）は行わず、必要に応じて感情画像ＧＢ、個人特性画像ＧＣ、または個人特性マトリックスＧＣ’（図２１参照）などの画像データを送信する。その代わりに、端末システム２Ａ、２Ｂは、相手の端末システム２Ｂ、２Ａから直接送信されてくる映像データに基づいて出席者の様子を表示する。

本実施形態では、図１１に示す５種類の感情についての判別を行ったが、「眠い」または「退屈」など、これ以外の感情について判別するようにしてもよい。また、「眠い」または「退屈」などの感情の出現度合いに基づいて、分析処理を行ってもよい。

図１の会議支援システム１を、複数のサーバ機などによって構成してもよい。例えば、会議支援システム１を、映像音声保存サーバ、自然言語処理サーバ、感情認識処理サーバ、ストリーミングサーバ、および分析サーバによって構成し、図３に示す各部の処理をこれらのサーバ機に分散して実行するようにしてもよい。

図２７は会議システム１００Ｂの全体的な構成の例を示す図、図２８は端末装置３１の機能的構成の例を示す図である。

本実施形態では、Ｘ社の社員およびＹ社の社員が互いに離れた場所で会議を行う場合を例に説明したが、本発明は１か所に集まって会議を行う場合にも適用可能である。この場合は、次に説明するように会議システム１００Ｂを構成すればよい。

会議システム１００Ｂは、図２７に示すように、パーソナルコンピュータまたはワークステーションなどの端末装置３１およびビデオカメラ３２によって構成される。ビデオカメラ３２は、会議の出席者全員の顔を撮影する。また、ビデオカメラ３２には、マイクが設けられており、出席者の発言の音声を集音する。

端末装置３１には、図２８に示すようなデータ受信部１３１、テキストデータ生成部１３２、感情判別部１３３、トピック判別部１３４、議事録生成部１３５、分析処理部１３６、映像音声出力部１３７、イメージ合成部１３８、およびデータベース管理部３ＤＢなどの機能を実現するためのプログラムおよびデータがインストールされている。

データ受信部１３１は、会議の様子を示す映像および音声のデータをビデオカメラ３２より受信する。テキストデータ生成部１３２〜分析処理部１３６、イメージ合成部１３８、およびデータベース管理部３ＤＢは、図３などで説明したテキストデータ生成部１０２〜分析処理部１０６、イメージ合成部１０８、およびデータベース管理部１ＤＢと同様の処理を行う。

映像音声出力部１３７は、感情画像ＧＢ、個人特性画像ＧＣ、または個人特性マトリックスＧＣ’（図２０、図２１参照）などが重ね合わされた映像（画像ＧＡ）をディスプレイに表示する。会議室が広い場合は、スピーカより音声を出力するようにしてもよい。また、所定の人数以上の出席者の感情が「怒り」になった場合やトピックが繰り返された（ループした）場合などに、注意を促す音声を出力するようにしてもよい。

その他、遠隔会議システム１００、会議システム１００Ｂ、会議支援システム１、端末システム２Ａ、端末システム２Ｂの全体または各部の構成、処理内容、処理順序などは、本発明の趣旨に沿って適宜変更することができる。

以上説明した実施形態に関し、さらに以下の付記を開示する。
（付記１）会議の複数の出席者の顔の画像を入力する画像入力手段と、
入力された前記画像に基づいて前記出席者ごとの感情を判別する感情判別手段と、
前記出席者の音声を入力する音声入力手段と、
入力された前記音声に基づいて、前記出席者の発言の内容を示すテキストデータを生成するテキストデータ生成手段と、
前記感情判別手段による判別結果および前記テキストデータ生成手段によって生成された前記テキストデータに基づいて、前記発言の内容と当該発言があったときの前記各出席者の感情とを記録した議事録を生成する議事録生成手段と、
を有することを特徴とする会議支援システム。 …… （１）
（付記２）
前記議事録生成手段は、前記発言が行われている時間帯に撮影された１つまたは複数の前記画像に基づいて前記感情を判別する、
付記１記載の会議支援システム。
（付記３）
前記議事録生成手段は、前記発言が開始された時刻に撮影された前記画像に基づいて前記感情を判別する、
付記１記載の会議支援システム。
（付記４）会議で話し合う１つまたは複数の議題を示す議題情報を記憶する議題情報記憶手段と、
前記議題情報および前記テキストデータに基づいて、前記発言が前記議題のうちのいずれに係るものであるかを判別する議題判別手段と、を有し、
前記議事録生成手段は、前記議題判別手段による判別結果に基づいて、前記発言に係る前記議題を記録した前記議事録を生成する、
付記１ないし付記３のいずれかに記載の会議支援システム。 …… （２）
（付記５）前記出席者が前記議題のうちのいずれの議題に関心を持っているかを前記議事録に基づいて判別する関心事判別手段を有する、
付記４記載の会議支援システム。 …… （３）
（付記６）前記関心事分析手段は、前記出席者が前記議題のうちのいずれの議題に関心を持っているかを、前記議題ごとにそれに係る前記発言があったときの当該出席者の感情の統計に基づいて判別する、
付記５記載の会議支援システム。
（付記７）前記議題について前記出席者のうちの誰が最も関心を持っているかを前記議事録に基づいて判別する関心度合判別手段を有する、
付記４ないし付記６のいずれかに記載の会議支援システム。
（付記８）前記関心度合判別手段は、前記議題について前記出席者のうちの誰が最も関心を持っているかを、当該議題に係る前記発言があったときの、前記出席者ごとの感情の統計に基づいて判別する、
付記７記載の会議支援システム。
（付記９）前記議題の中心人物を前記議事録に基づいて判別する中心人物判別手段を有する、
付記４ないし付記８のいずれかに記載の会議支援システム。
（付記１０）前記中心人物判別手段は、前記議題の中心人物を、当該議題に係る前記発言があった直後の、当該発言を行った前記出席者以外の出席者の感情に基づいて判別する、
付記９のいずれかに記載の会議支援システム。
（付記１１）前記議題の中心人物に追従する追従者を、当該議題に係る前記発言があった直後の、当該発言を行った前記出席者以外の出席者の感情に基づいて判別する、
付記９または付記１０のいずれかに記載の会議支援システム。
（付記１２）不快を与えそうな語句の一覧を記憶する語句一覧記憶手段と、
前記音声入力手段によって入力された音声から前記一覧に示される語句を消去する消去処理を行う語句消去手段と、
前記語句消去手段によって前記消去処理がなされた音声のデータを出力する音声出力手段と、を有する、
付記１ないし付記１１のいずれかに記載の会議支援システム。
（付記１３）前記画像入力手段によって入力された画像に、前記感情判別手段による判別結果を示す画像を合成する画像合成手段と、
前記画像合成手段によって合成された画像のデータを出力する画像出力手段と、を有する、
付記１ないし付記１２のいずれかに記載の会議支援システム。
（付記１４）互いに離れた複数の場所を中継して会議を行うための遠隔会議支援システムであって、
前記各場所から会議の出席者の顔の画像を入力する画像入力手段と、
入力された前記画像に基づいて前記出席者ごとの感情を判別する感情判別手段と、
前記出席者の音声を入力する音声入力手段と、
入力された前記音声に基づいて、前記出席者の発言の内容を示すテキストデータを生成するテキストデータ生成手段と、
前記感情判別手段による判別結果および前記テキストデータ生成手段によって生成された前記テキストデータに基づいて、前記発言の内容と当該発言があったときの前記各出席者の感情とを記録した議事録を生成する議事録生成手段と、
を有することを特徴とする遠隔会議支援システム。
（付記１５）会議の議事録を生成する議事録生成方法であって、
会議の出席者の顔の画像を入力するステップと、
入力された前記画像に基づいて前記出席者ごとの感情を判別する感情判別処理を実行するステップと、
前記出席者の音声を入力するステップと、
入力された前記音声に基づいて、前記出席者の発言の内容を示すテキストデータを生成すステップと、
前記感情判別処理の結果および前記テキストデータに基づいて、前記発言の内容と当該発言があったときの前記各出席者の感情とを記録した議事録を生成するステップと、
を有することを特徴とする議事録生成方法。 …… （４）
（付記１６）会議の議事録を生成するコンピュータに用いられるコンピュータプログラムであって、
会議の出席者の顔の画像を入力する処理と、
入力された前記画像に基づいて前記出席者ごとの感情を判別する感情判別処理と、
前記出席者の音声を入力する処理と、
入力された前記音声に基づいて、前記出席者の発言の内容を示すテキストデータを生成す処理と、
前記感情判別処理の結果および前記テキストデータに基づいて、前記発言の内容と当該発言があったときの前記各出席者の感情とを記録した議事録を生成する処理と、
をコンピュータに実行させるためのコンピュータプログラム。 …… （５）

本発明は、いわゆるＡＳＰ（Application Service Provider）などのサービス事業者が企業、役所、または学校などの団体に会議中継サービスを提供ために好適に用いられる。係るサービスを提供するために、サービス事業者は、図１の会議支援システム１をネットワーク上に開設する。または、スタンドアロンタイプのシステムとして、図２７の会議システム１００Ｂを顧客に提供することもできる。

遠隔会議システムの全体的な構成の例を示す図である。 会議支援システムのハードウェア構成の例を示す図である。 会議支援システムの機能的構成の例を示す図である。 データベース管理部の構成の例を示す図である。 発言テキストデータの例を示す図である。 感情データの例を示す図である。 目録データの例を示す図である。 トピックデータの例を示す図である。 議事録データの例を示す図である。 相手側の様子を示す画像および感情画像の表示例を示す図である。 感情画像に用いられる記号の例を説明する図である。 分析処理部の構成の例を示す図である。 題目別感情分析データの例を示す図である。 トピック別感情分析データの例を示す図である。 キーマン判別処理の流れの例を説明するフローチャートである。 あるトピックに関する議論の時間帯におけるＹ社の各出席者の感情の変化を示す図である。 特性分析データの例を示す図である。 個人別関心データの例を示す図である。 トピック別関心データの例を示す図である。 相手側の様子を示す画像に感情画像および個人特性画像を重ね合わせて表示する例を示す図である。 個人特性マトリックスの例を示す図である。 カット語句データの例を示す図である。 会議支援システムの全体的な処理の流れの例を説明するフローチャートである。 映像音声中継処理の流れの例を説明するフローチャートである。 議事録生成処理の流れの例を説明するフローチャートである。 分析処理の流れの例を説明するフローチャートである。 会議システムの全体的な構成の例を示す図である。 端末装置の機能的構成の例を示す図である。

符号の説明

１ 会議支援システム
３１ 端末装置（会議支援システム）
１０１、１３１ データ受信部（画像入力手段、音声入力手段）
１０２、１３２ テキストデータ生成部（テキストデータ生成手段）
１０３、１３３ 感情判別部（感情判別手段）
１０４、１３４ トピック判別部（議題判別手段）
１０５、１３５ 議事録生成部（議事録生成手段）
１６４ 個人別関心分析部（関心事判別手段）
５ＭＡ、５ＭＢ 映像データ
６Ｄ 目録データ（議題情報）
６Ｆ 感情データ
６Ｈ 発言テキストデータ
６Ｐ トピックデータ
ＧＤＴ 議事録データ
ＲＣ３ 会議目録データベース（議題情報記憶手段）
ＹＡ〜ＹＥ 出席者

Claims (6)

1. 会議の複数の出席者の顔の画像を入力する画像入力手段と、
   入力された前記画像に基づいて前記出席者ごとの感情を判別する感情判別手段と、
   前記出席者の音声を入力する音声入力手段と、
   入力された前記音声に基づいて、前記出席者の発言の内容を示すテキストデータを生成するテキストデータ生成手段と、
   入力された前記音声のパターンを分析することにより、前記発言を行った前記出席者である発言者を特定する発言者特定手段と、
   前記感情判別手段による判別結果、前記テキストデータ生成手段によって生成された前記テキストデータ、および前記発言者特定手段によって特定された前記発言者に基づいて、前記発言の内容と当該発言を行った前記出席者と当該発言があったときの前記各出席者の感情とを記録した議事録を生成する議事録生成手段と、
   を有することを特徴とする会議支援システム。
2. 会議で話し合う１つまたは複数の議題を示す議題情報を記憶する議題情報記憶手段と、
   前記議題情報に示される前記議題が前記テキストデータの中に含まれる回数を前記議題別にカウントし、前記議題のうち前記テキストデータの中に含まれる回数が最も多い議題を当該テキストデータに示される前記発言に係る議題であると判別する議題判別手段と、を有し、
   前記議事録生成手段は、前記議題判別手段による判別結果に基づいて、前記発言に係る前記議題を記録した前記議事録を生成する、
   請求項１記載の会議支援システム。
3. 前記議事録に記録された、前記議題に係る前記発言があったときの前記出席者の前記感情が出現した回数を前記感情別にカウントし、前記感情のうち所定の感情が出現した回数の割合が所定の値以上である場合に当該出席者が当該議題に関心を持っていると判別する関心事判別手段を有する、
   請求項２記載の会議支援システム。
4. 前記議事録に記録された、前記発言があったときの当該発言を行った者以外の前記出席者の前記感情に基づいて、当該発言を行った前記出席者が中心人物であるか否かを判別する中心人物判別手段を有する、
   請求項１記載の会議支援システム。
5. 会議の議事録を生成する議事録生成方法であって、
   会議の出席者の顔の画像を入力するステップと、
   入力された前記画像に基づいて前記出席者ごとの感情を判別する感情判別処理を実行するステップと、
   前記出席者の音声を入力するステップと、
   入力された前記音声に基づいて、前記出席者の発言の内容を示すテキストデータを生成するステップと、
   入力された前記音声のパターンを分析することにより、前記発言を行った前記出席者である発言者を特定するステップと、
   前記感情判別処理の結果、前記テキストデータ、および前記発言者に基づいて、前記発言の内容と当該発言を行った前記出席者と当該発言があったときの前記各出席者の感情とを記録した議事録を生成するステップと、
   を有することを特徴とする議事録生成方法。
6. 会議の議事録を生成するコンピュータに用いられるコンピュータプログラムであって、
   会議の出席者の顔の画像を入力する処理と、
   入力された前記画像に基づいて前記出席者ごとの感情を判別する感情判別処理と、
   前記出席者の音声を入力する処理と、
   入力された前記音声に基づいて、前記出席者の発言の内容を示すテキストデータを生成する処理と、
   入力された前記音声のパターンを分析することにより、前記発言を行った前記出席者である発言者を特定する処理と、
   前記感情判別処理の結果、前記テキストデータ、および前記発言者に基づいて、前記発言の内容と当該発言を行った前記出席者と当該発言があったときの前記各出席者の感情とを記録した議事録を生成する処理と、
   をコンピュータに実行させるためのコンピュータプログラム。