JP2019061594A - 会議支援システムおよび会議支援プログラム - Google Patents

Abstract

【課題】会議の内容を資産化し、会議の運営を効率化する。【解決手段】組織における会議の運営を支援する会議支援システム１であって、複数の拠点間でのオンラインでのビデオ会議を可能とするビデオ会議装置２０と、ビデオ会議装置２０により取得された映像データから画像認識技術により各出席者に係る画像を認識する画像認識部１３と、ビデオ会議装置２０により取得された各出席者の音声データを取得し、音声データと予め登録された各出席者の音声の特徴情報との比較、および画像認識部１３により取得された各出席者の動きの情報に基づいて、音声データにおける各発言の発言者を特定する音声認識部１２と、音声認識部１２により取得された各出席者の音声データを発言の時系列でタイムラインとして出力するタイムライン管理部１５とを有する。【選択図】図１

Description

本発明は、会議を支援する技術に関し、特に、複数の拠点間での会議を支援する会議支援システムおよび会議支援プログラムに適用して有効な技術に関するものである。

遠隔地を含む複数の拠点間での会議をＩＴ技術により支援する仕組みとして、例えば、いわゆるテレビ会議システムやホワイトボードシステム等が知られている。例えば、「Skype（登録商標、以下同様） for Business」（非特許文献１）では、複数拠点間で音声・ビデオによるオンラインでのグループ会議やメッセージングを行うことができ、画像や資料等の内容を共有するデジタルホワイトボードの機能等も有している。また、「Microsoft Surface（登録商標、以下同様） Hub」（非特許文献２）は、大画面のディスプレイにカメラやセンサ等を備え、外部のＰＣ（Personal Computer）等の情報処理装置と連携することができる装置として、上記のようなオンラインでのグループ会議を実現するものである。

また、例えば、特開２００６−５０５００号公報（特許文献１）には、会議の参加者がクライアント装置を介して、自らの会議中の発言の情報を会議サーバ装置に送付し、会議支援を受けるとともに、音声の発言は、クライアント装置または会議サーバ装置の音声認識によって、議事進行中にリアルタイムでテキストデータに変換する旨が記載されている。

また、会議の品質を評価する技術も種々検討されており、例えば、会議出席者の議題別の発言数や、平均肯定率等の統計情報を取得することなどが提案されている。これに関連する技術として、例えば、特開２０１３−８１１４号公報（特許文献２）には、発言者の発言状態から形成された発言品質評価値と、発言者以外の出席者の回転方向姿勢（うつ伏せ、仰向け、および直立不動）から形成された姿勢評価値とに基づいて会議の品質評価を演算する旨が記載されている。

特開２００６−５０５００号公報 特開２０１３−８１１４号公報

"Skype for Business - あらゆるデバイスで、あらゆる人とコラボレーション"、［online］、2017年、Skype and/or Microsoft、［平成２９年８月２２日検索］、インターネット＜URL：https://www.skype.com/ja/business/skype-for-business/＞ "Microsoft Surface Hub | コラボレーション デバイス"、［online］、2017年、Microsoft、［平成２９年８月２２日検索］、インターネット＜URL：https://www.microsoft.com/microsoft-surface-hub/ja-jp＞

従来技術によれば、複数の拠点間での会議も含めて、情報の共有や発言のテキスト化による議事録の自動作成等、会議の運営を効率化するとともに、会議の内容や品質について評価を行い、会議の効率を向上させることが可能であるとされる。一方で、会議の運営の効率化という点では様々な観点があり、効率をより一層向上させる余地がある。特に、会議で議論された内容を資産化し、組織内で横断的に共有可能とすることで、組織内において多数実施される会議のより一層の効率化を図ることが可能であると考えられる。

そこで本発明の目的は、会議の内容を資産化し、会議の運営を効率化することが可能な会議支援システムおよび会議支援プログラムを提供することにある。

本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。

本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、以下のとおりである。

本発明の代表的な実施の形態による会議支援システムは、組織における会議の運営を支援する会議支援システムであって、複数の拠点間でのオンラインでのビデオ会議を可能とするビデオ会議装置と、前記ビデオ会議装置により取得された映像データから画像認識技術により各出席者に係る画像を認識する画像認識部と、前記ビデオ会議装置により取得された各出席者の音声データを取得し、前記音声データと、予め登録された各出席者の音声の特徴情報との比較、および、前記画像認識部により取得された各出席者の動きの情報に基づいて、前記音声データにおける各発言の発言者を特定する音声認識部と、前記音声認識部により取得された各出席者の音声データを発言の時系列でタイムラインとして出力するタイムライン管理部と、を有するものである。

また、本発明は、コンピュータを上記のような会議支援プログラムとして動作させる会議支援プログラムにも適用することができる。

本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば以下のとおりである。

すなわち、本発明の代表的な実施の形態によれば、会議の内容を資産化し、会議の運営を効率化することが可能となる。

本発明の一実施の形態である会議支援システムの各部の構成例について概要を示した図である。 本発明の一実施の形態である会議支援システムの動作時の構成例について概要を示した図である。 本発明の一実施の形態におけるビデオ会議装置のディスプレイに表示される画面例について概要を示した図である。 本発明の一実施の形態におけるビデオ会議装置のディスプレイに表示される画面例について概要を示した図である。 本発明の一実施の形態におけるビデオ会議装置のディスプレイに表示される画面例について概要を示した図である。 本発明の一実施の形態におけるビデオ会議装置のディスプレイに表示される画面例について概要を示した図である。 本発明の一実施の形態におけるビデオ会議装置のディスプレイに表示される画面例について概要を示した図である。 本発明の一実施の形態におけるビデオ会議装置のディスプレイに表示される画面例について概要を示した図である。 本発明の一実施の形態におけるビデオ会議装置のディスプレイに表示される画面例について概要を示した図である。

以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において、同一部には原則として同一の符号を付し、その繰り返しの説明は省略する。一方で、ある図において符号を付して説明した部位について、他の図の説明の際に再度の図示はしないが同一の符号を付して言及する場合がある。

＜システム構成＞
図２は、本発明の一実施の形態である会議支援システムの動作時の構成例について概要を示した図である。本実施の形態の会議支援システム１は、例えば、サーバ機器やクラウドコンピューティングサービス上に構築された仮想サーバ等により構成されたサーバシステム１０と、会議の出席者が集まる会議室等の各拠点（図中の例では「拠点Ａ」および「拠点Ｂ」）にそれぞれ設置されたビデオ会議装置２０を有する。サーバシステム１０および各ビデオ会議装置２０は、それぞれ、インターネットやイントラネット等のネットワーク４０への接続を介して相互に通信可能なように構成されている。

ビデオ会議装置２０は、複数の拠点間でのオンラインでのビデオ会議を可能とする装置やシステムであり、例えば、上述した「Microsoft Surface Hub」等、大型のディスプレイやカメラ、マイク、各種センサ等を備える専用の装置を適宜使用することができる。汎用のＰＣ（Personal Computer）とこれに接続されたＷｅｂカメラやマイク、スピーカー等の周辺デバイス、およびビデオ会議用の既存のソフトウェアを用いて構成されていてもよい。出席者は、ビデオ会議装置２０を介して他の拠点の出席者の映像等を参照しつつ、オンラインでのビデオ会議を行うことができる。その際、デジタルホワイトボードの機能により、例えば、タッチパネルにより構成されたディスプレイに出席者が手書きで記載した情報を拠点間・出席者間で共有することができる。

各拠点での出席者は、さらに、ＰＣ（Personal Computer）やタブレット端末、スマートフォン等の情報処理端末である出席者端末３０を介して会議支援システム１に接続することができる。接続に際しては、例えば、自身の拠点に設置されたビデオ会議装置２０に対してＬＡＮ（Local Area Network）等を介して接続してもよいし、ネットワーク４０を介してサーバシステム１０に接続してもよい。各出席者は、出席者端末３０での操作により、各拠点のビデオ会議装置２０のディスプレイに資料や入力したテキスト情報等を表示させ、拠点間・出席者間で情報を共有することができる。また、ビデオ会議装置２０のディスプレイに表示された情報を自身の出席者端末３０上で参照することもできる。

サーバシステム１０は、例えば、図示しないＣＰＵ（Central Processing Unit）により、ＨＤＤ（Hard Disk Drive）等の記録装置からメモリ上に展開したＯＳ（Operating System）やＤＢＭＳ（DataBase Management System）、Ｗｅｂサーバプログラム等のミドルウェアや、その上で稼働するソフトウェアを実行することで、複数の拠点間での会議を含む会議運営の支援に係る後述する各種機能を実現する。

図１は、本発明の一実施の形態である会議支援システムの各部の構成例について概要を示した図である。上述したように、本実施の形態の会議支援システム１は、例えば、サーバシステム１０と、各拠点に設置されたビデオ会議装置２０とがネットワーク４０を介して相互に接続された構成を有する。

会議支援システム１は、例えば、ソフトウェアにより実装されたビデオ会議処理部１１、音声認識部１２、画像認識部１３、認証部１４、タイムライン管理部１５、評価・分析部１６、会議制御部１７、および要約生成部１８等の各部を有する。また、データベース（ＤＢ）やファイル等により実装されたユーザＤＢ１０１、コンテンツＤＢ１０２、タイムラインＤＢ１０３、および議事録ＤＢ１０４等の各データを有する。なお、これらの各部や各ＤＢは、その全部もしくは一部がそれぞれ、サーバシステム１０上に一元的に実装されていてもよいし、ビデオ会議装置２０が個別に備えていてもよく、システム要件に応じて柔軟に構成することができる（図１の例では、各部がサーバシステム１０およびビデオ会議装置２０のいずれに実装されるのかを特定していない）。

ビデオ会議処理部１１は、複数の拠点間のオンラインでのビデオ会議に係る基本的・一般的な処理を行う機能を有する。例えば、ビデオ会議装置２０が備えるカメラやマイクにより取得された拠点（会議室）の映像や音声のデータをファイル等に記録するとともに、他の拠点のビデオ会議装置２０のディスプレイに出力する。また、デジタルホワイトボードの機能により、資料や入力された情報等を各拠点のビデオ会議装置２０のディスプレイに表示させて拠点間で共有する。これらの機能は、例えば、上述した「Skype for Business」等、ビデオ会議を実現可能とする既存のソフトウェアやシステムを適宜使用することで実装できる。

音声認識部１２は、ビデオ会議処理部１１により取得・録音された会議中の音声データをコンテンツＤＢ１０２に記録するとともに、公知の音声認識技術によりリアルタイムでテキスト化し、可能な場合には発話者を特定した上で、会議および発話者（ユーザ）に関連付けてコンテンツＤＢ１０２に記録する機能を有する。発話者の特定手法は特に限定されないが、例えば、ユーザ毎にユーザＤＢ１０１に予め登録されている（もしくは会議中に音声データから取得した）声紋等の特徴情報と音声データとを比較することで行う。複数のマイクから取得された音声データに基づいて音声が発せられた方向を特定し、後述する画像認識部１３により特定された映像データ中の出席者の情報（さらにはその（口の）動きの情報）と照合する等、音声データと映像データとを複合的に用いて特定するようにしてもよい。

画像認識部１３は、ビデオ会議処理部１１により取得・録画された会議中の拠点（会議室）の映像データ（音声を含んでいなくてもよい）をコンテンツＤＢ１０２に記録するとともに、公知の画像認識技術により、各出席者やその動作等をリアルタイムで特定・把握する機能を有する。会議への出席予定者の情報を事前に会議支援システム１が取得している場合は、当該出席予定者の中から特定するようにしてもよい。特定した出席者の情報（特に顔の情報）は、例えば、後述する認証部１４での出席者の認証処理において用いることができる。また、出席者の動作の情報は、例えば、後述する会議制御部１７においてジェスチャーとして把握され、会議中の出席者からの各種の情報の取得や、出席者による会議の運営の制御に用いることができる。また、後述する評価・分析部１６により、居眠りや姿勢等、出席者の状態の情報を把握することも可能である。

なお、コンテンツＤＢ１０２には、音声認識部１２により取得された音声データや画像認識部１３により取得された映像データに加えて、ビデオ会議処理部１１により取得された会議資料やホワイトボードのデータ等が、会議毎に関連付けて記録される。具体的には、例えば、各コンテンツのデータを対象の会議にそれぞれ関連付けたリストを保持する。もしくは、各コンテンツのデータに係るファイル名を用いて関連付けを行う（例えば、ファイル名に会議を識別可能な情報を含める）等によって実現してもよい。

認証部１４は、会議の出席者に対する認証処理を行う機能を有する。本実施の形態では、出席者（ユーザ）が認証という会議自体とは無関係の動作や処理を意識する必要がないよう、例えば、画像認識部１３により特定された出席者の顔の画像を、予めユーザＤＢ１０１に登録されている各出席者の顔画像と照合することで自動的に顔認証を行うとともに、各出席者を特定する。顔に限らず、音声等を照合してもよい。なお、出席者端末３０上でのユーザＩＤ／パスワードの入力という通常の手法を用いることも当然可能であるし、例えば、会議室の入口等に設けられたＩＤカードの読取装置や生体認証装置等による外部の認証システムと連携して、認証された旨の情報を取得するようにしてもよい。認証を経て特定された出席者の情報に基づいて、例えば、後述する会議制御部１７が会議の座席表を作成するようにしてもよい。

タイムライン管理部１５は、会議の中での各出席者による発言やコメント投稿の流れをタイムラインＤＢ１０３に記録して時系列で管理するとともに、後述する画面例に示すようにビデオ会議装置２０のディスプレイ上にリアルタイムで表示する機能を有する。

評価・分析部１６は、会議の内容についてリアルタイムで、もしくは事後的に各種の評価やスコアリングを行う機能を有する。評価の対象には、会議全体に加えて、例えば、その中に含まれる各出席者の個々の発言や、態度・状態等が含まれる。また、評価に加えて、例えば、会議中の発言の内容から、トピックや頻出するキーワードを分析したり、音声認識部１２や画像認識部１３により取得された各出席者の音声や動作、姿勢等の情報から、出席者の感情や状態等を分析したりすることも可能である。また、議事録ＤＢ１０４に蓄積された議事録の内容を分析して、どの会議（会議体）においてどのような内容が議論されているのか等を把握し、組織内で横断的に利用可能な知的資産として活用することも可能である。

会議制御部１７は、会議の運営・進行を制御する機能を有する。例えば、後述するような会議の形式やモードに応じた画面制御や、会議の終了時間を含む時間管理、現在のトピックや各出席者の発言数等に応じた次の発言者の指定・提案、出席者からのジェスチャー等での指示・要求に基づく休憩やオフレコ、アイスブレイク等（すなわち、議事録に残さない部分）の開始とその解除の制御等が含まれ得る。タイムラインや議事録、その他のビデオ会議装置２０の画面上に付箋やブックマーク等を付する機能を有していてもよい。会議全体について事前に指定された内容、もしくは各出席者について予めユーザＤＢ１０１に登録された内容に基づいて、会議内での発言や資料等について公開してもよい項目や範囲等を制限するアクセス制御を行うようにしてもよい。

コンテンツＤＢ１０２やタイムラインＤＢ１０３、議事録ＤＢ１０４に記録された会議の内容に係るデータについて、これらがビデオ会議装置２０上に記録されている場合には、会議の終了とともに、これらのデータをサーバシステム１０（もしくは図示しない他の管理サーバ等）にアップロードする制御を行ってもよい。

要約生成部１８は、会議の内容のテキストデータに基づいて、公知の自然言語処理によりこれを要約した議事録を生成して議事録ＤＢ１０４に記録する機能を有する。議事録は、会議終了後に一括して生成してもよいし、リアルタイムもしくは一定時間毎に都度生成し、会議中に各出席者が確認できるようにしてもよい。議事録中においてＴｏＤｏやタスクが設定された場合、その内容を外部の図示しないタスク管理システムやワークフローシステムに対して出力して連携するようにしてもよい。議事録ＤＢ１０４に蓄積された内容は、ビデオ会議装置２０や出席者端末３０から適宜参照することができる。

＜画面例と機能の内容＞
図３〜図９は、本実施の形態におけるビデオ会議装置２０のディスプレイに表示される画面例について概要を示した図である。

［会議開始時］
図３の画面例では、会議開始時において出席者の認識・認証と出席者としての登録を行っている状態を示している。画面左側の領域では、ビデオ会議装置２０が備えるカメラにより、当該ビデオ会議装置２０が設置された拠点の会議室を撮影した映像を表示しており、出席者全員がカメラに顔を向けることで、画像認識部１３により顔を認識し、認証部１４により、予めユーザＤＢ１０１に登録されている顔画像のデータと照合することで顔認証と出席者の特定を行う。会議への出席予定者の情報を事前に会議支援システム１が取得している場合は、当該出席予定者の中から顔認証により特定するようにしてもよい。

なお、顔認証は、図示するように、複数の出席者が集合した状態で一括して行ってもよいし、各出席者が会議室に入室する際などにおいて一人ずつ個別に行うようにしてもよい。顔認証に加えて、図示するように、予めユーザＤＢ１０１に登録されている音声データとの照合も行って認証するようにしてもよい。

顔認識がされた出席者の情報は、画面右側の領域に、例えば、各出席者を示すアイコンや顔マーク等の画像により一覧として表示される。図３の例では、顔認識の結果、画面左側の領域で「１」〜「４」の番号が割り振られた出席者のうち、画面右側の領域において、「４」が割り振られた出席者については顔認証ができず特定できなかったことを示している。この場合、「新規登録する」ボタンを選択することで、手動で出席者として登録することができる。

手動での登録は、例えば、社員証や入館証等のＩＤカードをリーダ装置等により読み取ることで行ってもよい。また、出席者が保有するスマートフォン等の出席者端末３０上にインストールされたアプリケーション等を介して会議支援システム１にログインすることで登録するようにしてもよい。氏名や社員番号等をキーとしてユーザＤＢ１０１を直接検索することで登録してもよい。

なお、手動で出席者を登録する場合、例えば、当該出席者がＩＤカード等を持たず、またユーザＤＢ１０１にも登録されていない場合は、既に認証された他の出席者、あるいは予め権限が付与されたユーザによって手動で登録できるようにしてもよい。例えば、図３の例において、既に認証されてファシリテータとして登録されている「１」の番号が割り振られた出席者が、図示しない「未認証の出席者を確認」ボタンを選択することで、まだ認証されていない出席者（図３の例では「４」の番号が割り振られた出席者等）を一覧表示させ、手動によりそれぞれ個別に、もしくは一括で登録できるようにしてもよい。

外部（他の拠点）からの出席者についても、会議支援システム１にログインすることで認証され、出席者として登録される。なお、認証および登録がされた出席者を示すアイコンや顔マーク等の画像は、ビデオ会議装置２０の画面上に加えて、各出席者の出席者端末３０上にも表示される。

出席者の認証と登録に際して、会議中に各出席者を映像や音声から特定することができるよう、会議開始までの間に各出席者の特徴データを音声認識部１２や画像認識部１３により取得して、特定された出席者と関連付けて記憶しておくようにしてもよい。例えば、会議当日の各出席者の顔以外に、音声や、服装の色等の特徴、髪の色や長さ、メガネの有無等の情報を特徴データとして記憶しておく。会議開始後もこれらの特徴データは適宜取得して更新するようにしてもよい。

会議の開始に際して、会議内容（発言や資料等）について共有・公開してもよい範囲をファシリテータ（図３の例では「１」が割り振られた「鈴木 一郎」）や司会者等の代表者が設定するようにしてもよい。その際、具体的な内容を個別に設定してもよいが、会議の種類（例えば、「アイデア出し」や「部会」、「事業評価会議」、「業務推進委員会」、「本社全体会議」等）に応じて予め公開範囲（例えば、「全社」や「出席者限定」、「所属部内限定」、「所定の権限を有する者のみ」等）をパターン化しておき、その中から選択することで設定の負荷を低減させるようにしてもよい。当該パターンに対して、ユーザが手動で動的に修正を加えてもよいし、新しいパターンをその場で作成してもよい。会議開始時に代えて会議招集時に設定するようにしてもよい。

［会議中（および会議後）］
図４の画面例では、会議中の画面の例として、各出席者の発言内容を記録・管理するタイムラインの例を示している。画面上部には、会議の出席者を示すアイコンや顔マーク等の画像が横方向に並べて表示され、各出席者に対応する縦方向の列に、タイムラインとして、それぞれの発言内容のテキストが時系列で表示されている。また、各出席者の発言数や発言時間等の統計情報も表示されている。発言数や発言時間が多い出席者ほど、当該出席者を示すアイコンや顔マーク等の画像を大きくしたり色を濃くしたりする等の強調表示を行うようにしてもよい。

会議中のタイムラインの表示方法は、図４に示すような各出席者を横方向に一列に並べた形式での表示に限られず、例えば、各出席者のアイコン等を、会議室内での実際の座席配置と対応する位置に表示するものであってもよい。その際、実際の座席配置をそのまま表す位置に表示してもよいし（例えば、円形テーブルに着席している場合は円形に配置する）、着席順序や位置に応じた状態で、画面端部にアイコン等を並べて配置するようにしてもよい。いずれの場合も、出席者、特に他の拠点での出席者は、出席者の着席位置を直感的に把握することができる。これらの表示方法を出席者の指示により切り替えられるようにしてもよい。

各出席者が座席を移動した場合に、対応するアイコン等の表示位置を自動的に変更するようにしてもよい。また、各出席者のアイコン等の表示は、出席者からの指示に基づいて個別に非表示とできるようにしてもよい。また、出席者の実際の着席位置と、画面上のアイコン等の表示が対応していない誤認識がある場合は、例えば、対象のアイコン等を正しい位置にドラッグする等の操作により移動させる。その際、顔認証等の認証処理と出席者としての登録を再度行うようにしてもよい。

会議中の各発言の発話者の特定は、例えば、音声認識部１２により、ユーザＤＢ１０１に予め登録されている、もしくは会議開始時に取得した各出席者の音声データから抽出した声紋等の特徴情報と、対象の発話に係る音声データの特徴情報とを比較することで行う。これに加えて、さらに、会議中の映像データから画像認識部１３により特定された各出席者の状態の情報に基づいて行うようにしてもよい。

例えば、画像認識部１３により特定された出席者の口や体の動きを映像から解析し、発言者を特定するようにしてもよい。例えば、口が発言時の動きをしている、もしくは、体が発言時特有の動き（身振り手振りやジェスチャー、肩の上下動等）をしている出席者を発言者として特定する。実際の発言者を含む複数の出席者がビデオ会議装置２０（が備えるカメラ）に対して正対しておらず、顔画像を取得できない場合は、例えば、まず、顔画像を取得できる出席者の口が動いているか否かを判定し、動いていない場合はこれらの出席者を発言者の候補から除外する。そして、残った出席者の中で、体が発言時特有の動きをしていない出席者をさらに除外し、残った出席者を発言者の候補として画面上に提示する。例えば、発言者候補のリストをポップアップ画面で表示してもよいし、発言者候補に係るアイコン等を強調表示するようにしてもよい。

発言者に限らず、例えば、ビデオ会議装置２０が備えるディスプレイ（タッチパネル）にデジタルホワイトボードの機能によって書き込みを行った出席者について、書き込み中の出席者の映像データから当該出席者を特定するようにしてもよい。

発言者が特定できた場合は、図４に示したタイムラインにおいて、特定された発言者に係るアイコン等の画像に対して、例えば、「発言中」の吹き出しやマークを付したり、アイコン等の表示形態を変えたりして、対象の出席者が発言中である旨を示すようにしてもよい。発言中である旨が示された出席者が実際には発言者ではなく、他の出席者が発言者である場合（誤認識の場合）は、例えば、真の発言者に係るアイコン等を画面上でタップする等により選択し、ポップアップメニューから「発言中」の項目を選択する等の操作により、システムの誤認識を訂正できるようにしてもよい。

音声認識部１２では、音声データに基づく発言者の特定に加えて、発言内容を声認識技術によりリアルタイムでテキスト化し、特定された発言者に関連付けて記録する。これにより、タイムライン管理部１５は、図４に示すように、タイムライン上において、対象の出席者の発言としてテキスト情報をリアルタイムで表示することができる。また、このテキスト情報に基づいて議事録を自動的に生成することも可能である。自動的に関連付けた発言者が誤認識であった場合は、例えば、画面上で対象のテキストを選択して表示されるポップアップ画面の候補者のリストから他の候補者を選択して発言者を訂正することができる。

発言内容は、会議中の音声データをテキスト化したものに限らず、他の内容や情報に基づいてテキスト化したものを含んでいてもよい。例えば、出席者の特定の法則に基づく動作（手話やジェスチャー等）に基づいてテキスト化したものでもよい。例えば、ユーザが手話を用いる場合、予め、ユーザＤＢ１０１における当該ユーザに係る情報として、「（音声に代えて）動作（手話）をテキストに変換する」旨のフラグ等の情報を設定しておく。会議中は、この設定情報に基づいて、画像認識部１３により認識された動作（手話）をテキスト化する処理を自動的に行う。

もしくは、ユーザ毎に、「テキスト化する元として用いる情報」をコード値等によりユーザＤＢ１０１に予め設定できるようにしてもよい。例えば、「音声のみ（デフォルト）」、「音声＋動作（手話）」、「動作（手話）」、「目の動き」等、様々な発言方法をユーザ毎に設定可能とする。これにより、多様な出席者が同時に一つの会議を行う場合も、不自由を感じることなく出席することが可能になる。

会議中に出席者宛に通話やメッセージ、メール等が届いた場合、対象の出席者に係るアイコン等の画像に対して、例えば、「お知らせあり」の吹き出しやマークを付したり、アイコン等の表示形態を変えたりして、出席者に伝えるようにしてもよい
また、会議中に、現在の出席者とは異なる他のユーザが会議室に入ってきたことを、ビデオ会議装置２０が備えるセンサにより検知した場合、会議前に顔認証したユーザであるか否かを画像認識部１３により解析し、認証済みのユーザである場合（すなわち、会議室への再入室である場合）は何もしない。一方、未認証のユーザである場合は、例えば、顔認証、または社員証等のＩＤカードやスマートフォン等の出席者端末３０による認証のいずれかを用いて認証および登録を行うための画面をビデオ会議装置２０に表示し、ユーザが選択した方法でユーザ認証を行う。可能な場合にはいずれかの方法で自動的に認証処理を行うようにしてもよい。なお、会議の性質や目的等に応じて、会議開始前に、遅れて出席するユーザについての認証を、ビデオ会議装置２０を介してではなく連携する出席者端末３０等の他の端末を用いて行えるよう設定できるようにしてもよい。

本実施の形態では、議事進行形式の会議に限らず、各種の形式の会議についても支援することができる。図５の画面例では、ブレーンストーミング形式の会議において出席者を支援する機能の例を示している。例えば、画面左側の領域では、出席者間で情報を共有できるデジタルホワイトボードの例を示している。この画面上で、各出席者がテキスト情報の入力（音声認識によるものであってもよい）や資料の表示等の操作に加えて、自由に付箋を付したりはがしたりすることで、ブレーンストーミングを行うことができる。また、ホワイトボード上においてキーワードとして認識された語句等について、画面右側の領域では、当該キーワードに関連する情報を、自動的に各種の情報源からリアルタイムで取得して表示することで、出席者がこれらの情報を自ら収集する負荷を低減し、議論に集中できるように支援する。

情報源としては、例えば、インターネット上の各種のＷｅｂサイトや検索エンジン、ＳＮＳサービス等に加えて、企業内に蓄積された情報を用いてもよい。その際、会議支援システム１の議事録ＤＢ１０４等に記録・蓄積された過去の会議内容を資産として用いることもできる。例えば、会議制御部１７等により、議事録ＤＢ１０４等からキーワードに関連する議事録やファイル、会議での発言者等の情報を抽出して、図示するように提示し、容易にアクセスできるようにする。これにより、現在もしくは過去に社内で議論されている内容について情報を得ることができ、重複した会議や議論を回避することができる。また、必要な情報やスキル等を保有する人や組織を容易に把握してコンタクトをとることが可能となる。

議事録ＤＢ１０４等の検索に際しては、現在実施中の会議もしくは今後開催予定の会議におけるキーワードを用いて、例えば、議事録ＤＢ１０４に蓄積された全ての議事録を対象として検索してもよいし、現在実施中の会議もしくは今後開催予定の会議と関連する会議の議事録に対象を限定して検索するようにしてもよい。これにより、検索のノイズを低減して精度を高め、効率的に検索を行うことが可能となる。例えば、各会議に対して会議種別・種類を識別するコード値等（例えば、「○○システム定例会議」は「０１」、「△△システム定例会議」は「０２」等）が自動もしくは手動で設定されているような場合は、このコード値を用いて関連する会議を特定することができる。コード値等に限らず、例えば、会議名や出席者の内訳等の他の情報から関連する会議を特定することも可能である。

また、議事録ＤＢ１０４等に記録・蓄積された過去の会議内容の情報を用いて、以降の新たな会議の開催要否やその実施形式等を判断するようにしてもよい。例えば、図示しないデータ入出力インタフェース等を介して、ユーザから新たに開催を検討している会議のアジェンダや出席予定者リスト、参照予定の資料等の情報を取得し、議事録ＤＢ１０４等に記録・蓄積された過去の会議の内容のデータと組み合わせた上で、対象の会議の開催要否や開催形式（例えば、ブロードキャスト形式や、電子メールでの回覧・持ち回りの形式、イントラネット上のＷｅｂサイトへの掲載のみの形式等）を評価・分析部１６や会議制御部１７等により自動的に判断してユーザに提示するようにしてもよい。

また、議事録ＤＢ１０４等に記録・蓄積された過去の会議内容における各出席者の発言内容や、ユーザＤＢ１０１に登録されている属性情報等に基づいて、出席予定者毎に出席の「必須」、「任意」、「不要」を判定するようにしてもよい。また、新たに開催予定の会議の所要時間を推測し、他の予定表管理システムやスケジュール管理システム等における各出席予定者の予定やスケジュールと照合して、適切な開催日時を判定してユーザに提示するようにしてもよい。さらに、提示された開催日時をユーザが承認した場合に、各出席予定者の予定やスケジュールとして対象の会議の開催予定が自動的に登録されるようにしてもよい。上記のような判定処理は、例えば、予め設定された所定のルールや条件等に基づいて行ってもよいし、公知の機械学習や人工知能等の技術を利用して行うようにしてもよい。

会議中はさらに、図６の画面例のように、社内において現在どのようなトピックやキーワードに興味が持たれ、議論がされているのか等のトレンド情報の集計や分析を評価・分析部１６によりリアルタイムで行い、結果をビデオ会議装置２０上に表示して出席者間で共有できるようにしてもよい。例えば、イントラネットサイトのコンテンツに現れる頻度が高いキーワードや、各社員が検索エンジンを利用する際に指定する頻度が高いキーワード、社内の各種の会議（議事録）に現れる頻度が高いキーワード等を集計・分析して表示する。これにより、現在もしくは過去に社内で議論されている内容等についてより広範に情報を得ることができ、重複した会議や議論を回避することができる。なお、このような社内の会議情報の資産化による会議の支援は、ブレーンストーミング形式の会議に限らず、他の形式の会議でも同様に行うことができる。

図７の画面例では、例えば、部長が部門内の各メンバーに対して一斉に部門状況の説明等を行うような、ブロードキャスト形式の会議において出席者を支援する機能の例を示している。例えば、画面左側の領域では、上部の領域に部長等の発言者・説明者のカメラ画像が表示されており、下部の領域には説明に用いられる、もしくは説明を補足するための図表等の資料が表示されている。また、画面中央の領域では、当該会議の出席者、すなわち、カメラ画像に表示されている発言者の発言や説明を聞いている出席者とその所在場所の一覧が表示されている。

また、画面右側の領域では、各出席者による音声もしくは出席者端末３０を介したテキスト入力による発言の経緯がタイムラインとして表示されている。図７の例では、出席者の数が多いことから、図４に示したような出席者毎に列が独立したタイムラインではなく、１列のタイムラインに各出席者の発言（コメント）を時系列で混在させる形式をとっている。

［議事録作成］
上述したように、会議中の各出席者の発言に係る音声データはリアルタイムでテキスト化され、コンテンツＤＢ１０２に記録される。これに対して、要約生成部１８により、既存の文書要約技術等を利用して、要約（図表を含んでいてもよい）の形で議事録をリアルタイムで（もしくは会議終了後に）作成し、対象の会議を識別する情報（例えば、会議名や開催日等）と関連付けて議事録ＤＢ１０４に記録するようにしてもよい。

図８の画面例では、作成された議事録を参照する画面を示しており、画面左側の領域には議事録の書誌事項と自動的に要約された議事内容が表示されている。また、画面右側の領域の上段には、会議において決定・作成されたタスクの一覧と、期限および割り当てられた担当者の情報が表示されており、下段には、当該議事録の参照可能範囲として自動もしくは手動により設定された内容が表示されている。

要約された議事内容の表示においては、単にテキスト情報を表示するだけではなく、各種の付加機能を有する形で表示することができる。例えば、評価・分析部１６により、発言者の発言の強弱や、修飾語の内容、過去の会議記録の内容等に基づいて重要なキーワードを特定し、議事録のテキスト中の対応箇所の文字色やフォント、書体等を変化させて強調表示するようにしてもよい。

また、例えば、音声認識部１２や図示しない他のデータ変換部等が、議事録の内容のテキストを逆に音声データに変換して、会議中もしくは会議後に随時再生できる機能を有していてもよい。例えば、ビデオ会議装置２０や出席者の出席者端末３０の画面上に表示されたアイコン等を選択することで議事録を再生可能とする。また、議事録の内容に対してタグやブックマーク等を付すことができるようにし、音声での再生時に、ユーザにより指定されたタグに対応する部分のみを再生できるようにしてもよい。

なお、議事録の内容のテキストは、音声データへの変換に限らず、図示しないデータ変換部等により他の形式に変換するようにしてもよい。例えば、点字データに変換することで、目の不自由なユーザが議事録の内容を確認できるようにしてもよい。また、１つ以上の他の種類の言語に翻訳し、翻訳後の内容をテキストや音声データ、もしくはこれらの組み合わせによってユーザに提供するようにしてもよい。なお、翻訳先の言語は、例えば、ユーザが任意に指定してもよいし、対象の会議の出席者や議事録の閲覧権限を有するユーザの属性（例えば、ユーザＤＢ１０１等から取得する）に応じて最適な言語を自動的に判定するようにしてもよい。

会議中は、会議制御部１７により、会議内容における不要部分（例えば、アイスブレイクや、不適切な発言、ＮＧワード等）を自動もしくは手動で特定し、これらの内容をタイムラインや議事録に残さないようにしてもよい。例えば、図４に示したようなタイムラインの画面上に、図示しない「アイスブレイク」のアイコンやボタン等が配置され、出席者がこれを選択して有効としている間（例えば、アイコン等にタッチを継続している間のみ有効としてもよいし、タッチ毎に有効／無効を切り替えるようにしてもよい）の会話や発言はタイムラインや議事録に記録されないように制御する。なお、この場合でも、オリジナルの音声や映像のデータをコンテンツＤＢ１０２や他の管理者用のシステム／データベース等に記録するようにしてもよい。

画面上でのアイコン等の操作のような明示的な手法による有効／無効の指示に代えて、より目立たない他の指示方法を用いてもよい。例えば、出席者が首に掛けた社員証のストラップを首の後ろに回したら、オフレコとしてタイムラインや議事録への記録を停止し、前に戻したら再開する、というような黙示的な手法により有効／無効の指示を行うようにしてもよい。

また、会議制御部１７により、会議中の発言等の内容のうち、特定の単語や内容を、略語や黒塗り等の表現に自動的に変換するようにしてもよい。例えば、顧客企業名の略語（例えば、頭文字のアルファベット２〜３文字からなる文字列）のマスタ情報を予め保持しておき、会議中の発言に特定の顧客企業名が出てきた場合に、タイムラインや議事録上ではこれを自動的に略語に変換して記録するようにしてもよい。また、予め登録されているＮＧワードに該当する場合は、タイムラインや議事録上で黒塗り等に変換してマスクするようにしてもよい。

これらの変換やマスクは、会議中にリアルタイムで行ってもよいし、会議後に別途行ってもよい。会議後に行う場合は、対象の会議の特性に応じて、例えば、金額が記載されている箇所や特定の氏名が記載されている箇所等を、一律に黒塗りに変換してマスクしてもよいし、ユーザが変換する権限を有する表現についてのみ変換可能としてもよい。

また、タイムラインや議事録中において、例えば、出席者が理解できない用語や、関連分野を知りたい用語等があった場合、当該用語をタッチ等により選択することで、当該用語の意味や関連する記事（タイトル、要約、リンク等）の情報が当該出席者の出席者端末３０に表示されるようにしてもよい。これらの情報は、例えば、各種のＷｅｂサイトや検索エンジン等から取得することができる。これらの情報を当該出席者が他の出席者と共有したいと考えた場合には、指示により他の出席者の出席者端末３０やビデオ会議装置２０に表示して共有できるようにしてもよい。これらの情報に対するリンクをタイムラインや議事録中の対象箇所に関連付けて記録するようにしてもよい。

会議中もしくは会議後に、各出席者は、議事録に対してブックマークやタグ、感情を示すフラグ、付箋や簡易メモ等を付することができる。例えば、図４に示したようなタイムラインの画面において、各出席者を示すアイコンや顔マークの画像に対して、出席者がタッチや長押し等の予め定められた方法やジェスチャーを行う、もしくはポップアップメニューを介した指示を行うことで、タイムライン管理部１５により、タイムライン上の現在の発言内容に対して容易にブックマークや自身の感情の記録等を行うことができる。これらの情報は、議事録の作成時に取り込まれ、議事録に反映される。

また、図８に示したような議事録の参照画面を介して議事録中のテキストに対して直接にブックマークや感情を示すフラグ、付箋等を付することができる。多くの出席者が付箋や好感情・悪感情のフラグを付した箇所を評価・分析部１６により検出し、当該箇所を「重要ポイント」として強調表示等するようにしてもよい。「重要ポイント」」と認識された箇所を中心に、要約生成部１８により議事録をさらに自動的に要約し、これを会議の出席者全員で共有するようにしてもよい。

ブックマークや感情を示すフラグ等は、出席者の所定の動作やジェスチャーを画像認識部１３により検知して付するようにしてもよい。例えば、ブックマークや感情フラグの内容と、動作やジェスチャーとの対応をパターン化して予め記憶しておく。例えば、ユーザの手の「サムアップ」のジェスチャーと、「いいね！」という感情フラグを関連付けておくことで、会議中に出席者が「サムアップ」のジェスチャーをとったことをビデオ会議装置２０のカメラやセンサが検知した場合に、「いいね！」の感情フラグに係る画像等の情報を、タイムライン上の対象の発言に係る箇所に表示する。議事録の対象箇所に当該感情フラグを関連付けて議事録ＤＢ１０４に記録するようにしてもよい。

「サムアップ」のように一般的な意味を有する動作やジェスチャーに限らず、無意味な動作やその組み合わせにより表現するものであってもよい。例えば、手のひらを結んで開く「グーパー」の動作を２回繰り返すとブックマークを付する、というようなものであってもよい。また、動作やジェスチャーに限らず、出席者の音声指示の内容を音声認識部１２により認識して、対応するブックマークや感情フラグ等を付すようにしてもよい。

また、例えば、ビデオ会議装置２０が備えるカメラやマイクにより取得された拠点（会議室）の映像データについて、予め定められた方法によってユーザが指定した時点の静止画として記録し、これに対して「フォト」フラグを付して管理するようにしてもよい。また、例えば、ビデオ会議装置２０が備えるディスプレイに表示された画面を、予め定められた方法によって静止画として記録し、これに対して「キャプチャ」フラグを付して管理するようにしてもよい。「フォト」や「キャプチャ」のフラグによって管理される画像データについて、予め定められた方法（チェックボックスでの選択や、タッチ、長押し等）によって、会議中もしくは会議後にユーザにより選択されたデータのみを議事録に反映するようにしてもよい。

議事録に付与・反映されたブックマークやタグ、感情フラグ、付箋や簡易メモ等の挿入情報は、それを付与した人のみが参照、編集可能としてもよいし、他の出席者や出席者以外のユーザも参照、編集可能としてもよい。これらの権限設定を対象の挿入情報を付与したユーザが行うようにしてもよい。逆に、これらの挿入情報を参照する側のユーザも、自身が指定したユーザが付与した挿入情報のみに限定して表示できるようにしてもよい。これらにより、不要な挿入情報をフィルタリングして見えないようにすることができる。

議事録の内容に対しては、ブックマークや付箋等以外に、図８の例に示すように、タスクを割り当てることができるようにしてもよい。タスクが設定された議事内容（テキストや音声、映像、資料等）の前後の内容やその要約を評価・分析部１６により分析して、割り当てるべき担当者を自動的に設定するとともに、他のタスク管理システムやワークフローシステムに対して、当該担当者の予定として期限とタスク内容を自動的に登録するようにしてもよい。担当者を自動設定できなかった場合は、図示するように、ユーザが適切な担当者を検索により特定して設定してもよい。

また、当該タスクがグループワークか個人ワークかを判別して属性情報として付与してもよい。このとき、個人ワークの場合は、出席者の属性や会議中の発言内容等に基づいて担当者の候補を推奨してもよいし、グループワークの場合は、主担当者の候補を推奨した上で、さらに、グループのメンバーとなり得る候補者のリストを主担当者に推奨するようにしてもよい。

会議中にビデオ会議装置２０の画面上に表示された議事録は、各出席者が出席者端末３０上で表示することができるとともに、これを共有できるようにしてもよい。そして、出席者は、出席者端末３０に表示された議事録の内容が誤っていたり不適切であった場合に、出席者端末３０上での操作を介してこれを修正して上書きすることができる。対象の内容についての発言者および予め権限を付与されたユーザ（例えば、事務局のメンバー等）のみが修正できるようにしてもよい。

修正の方法は、例えば、議事録中の対象箇所をユーザが選択した場合に、図示しないポップアップメニューが表示され、メニュー中の実行可能な処理の中から「修正」を選択した場合に、対象箇所のテキストを修正入力するためのポップアップウィンドウが表示されるようにする。ユーザがテキストを修正し、「確定」ボタンを押下することで、議事録中の対象箇所のテキストが修正後の内容に置換される。

上述の図５の例に示したようなブレーンストーミング形式の会議においては、議事録に対して出席者が自由に修正したりコメント等を追加したりすることができるようにしてもよい。加えられた修正やコメント等は、例えば、暫定的なものとしてオリジナルの議事録とは別の画面に表示し、出席者が確定の旨の操作や指示を行った場合に、オリジナルの議事録に対して上書きにより反映されるようにしてもよい。

上述したように、議事録ＤＢ１０４には、例えば、社内の他の会議体のものも含む過去の議事録の内容が広く履歴として記録・蓄積されている。この議事録ＤＢ１０４に対して、会議中もしくは会議後に、任意のキーワードを指定して検索することで、対象のキーワードが頻出する他の会議の議事録を抽出して表示するようにしてもよい。表示できる議事録は、公開が許可されているもののみを対象とし、さらに、ユーザの権限により公開可否を制御するようにしてもよい。抽出された議事録が現在会議中の他の会議のものである場合は、その開催場所や出席者、連絡手段等の情報を取得して表示するようにしてもよい。これにより、例えば、重複もしくは類似した内容の他の会議が行われている場合に、無駄な会議が行われるのを回避したり、逆に、参考情報をヒアリングして情報を共有したりして、会議の運営の効率化を図ることができる。

会議終了後は、出席者に加えて、権限のある非出席者についても、終了した会議のタイムラインや議事録に対して音声もしくはテキストによりコメントを挿入できるようにしてもよい。例えば、会議中の発言内容を補足するコメントを追加してもよいし、アイデア出しや企画事業会議等、アウトプットが要求される会議の議事録の内容（アウトプット）を上長がレビューして、レビュー内容を議事録に関連付けて記録できるようにしてもよい。さらに、レビューされた議事録に対する承認プロセスのワークフローを自動的に発生させてもよい。

上述したように、議事録ＤＢ０１４に記録された議事録は、社内や組織間で共有することが可能であるが、その共有方法に応じて、例えば、ユーザの設定により、議事録に反映させる内容を抑制したり、議事録の構成を自動的に変更したりできるようにしてもよい。例えば、図８に示したような議事録の参照画面を、ビデオ会議装置２０の画面上や各出席者端末３０上に表示する際に、上述した「フォト」や「キャプチャ」のフラグによって管理される画像データの表示を抑制したり、予めユーザが設定した方法によって処理・加工した上で表示したりしてもよい。

また、図８の画面例における「ダウンロード」ボタンをユーザが押下することによってデータとして出力される議事録のデータに対して、「フォト」や「キャプチャ」のフラグによって管理される画像データを、記録した時刻に応じて議事録の適切な箇所に挿入するようにしてもよい。もしくは、図示しないデータ入出力インタフェース等を介してユーザにより予め登録された複数の議事録テンプレートのうち、ユーザが指定した議事録テンプレート、あるいは会議支援システム１が自動的にレコメンドした議事録テンプレートの所定の場所に挿入するようにしてもよい。

また、図８の画面例における「メール送信」ボタンをユーザが押下することによって議事録のデータを他のユーザに電子メールで送信して共有する際、当該電子メールに会議名称・開催日時・会議の要約等の最小限の内容を表示するようにしてもよい。また、議事録のデータ自体を送信するのに代えて、会議支援システム１にアクセスするためのＵＲＬ（Uniform Resource Locator）をハイパーリンクにより表示し、当該電子メールを受信した他のユーザが上記のＵＲＬのリンクを選択することで対象の議事録を閲覧できるようにしてもよい。

［会議運営の効率化］
会議の運営の効率化を図る他の手段として、例えば、進行中の会議の内容と各出席者の経歴等の属性情報とを考慮して、会議制御部１７により発言すべき出席者を特定して当該出席者に対して発言を促すような表示を行ったり、発言すべき出席者の候補の一覧をファシリテータや司会者の出席者端末３０に表示するようにしてもよい。候補者の一覧を表示する際に、過去に感情フラグを付した／付された実績の情報や、過去の会議における貢献度の評価値等を参考情報として追加表示するようにしてもよい。

出席者は、会議に際して、出席者端末３０に代えてもしくはこれに加えていわゆるスマートグラスを装着することも可能である。これにより、例えば、ビデオ会議装置２０や出席者端末３０に表示されている内容をスマートグラスに連携し、もしくはスマートグラスにより出席者が見ている内容（画像）をビデオ会議装置２０に連携することができる。また、例えば、会議前や会議中に、各出席者の情報（例えば、公開されている属性や経歴、過去に出席した会議の名称等）をスマートグラス（もしくは出席者端末３０）に表示して参照・確認できるようにしてもよい。

各出席者のアイコンや顔マークの画像に対して、例えば、会議制御部１７等により、その近傍に当該出席者の感情や状態を示す感情アイコンを表示するようにしてもよい。出席者のアイコンや顔マークの画像自体を感情や状態に応じて変更するようにしてもよい。例えば、会議が長引いて、終了時刻が当該出席者の当日の退社予定時間や当月の残業上限時間等を超えると予想される場合は、焦っている表情の感情アイコンを表示したり、出席者のアイコンの色を緑から赤に変化させたりする。表示内容の変更を自動的に行うのに代えて、各出席者が出席者端末３０等からの操作により表示内容を変更できるようにしてもよい。

感情アイコンによる表示内容として、例えば、「暑い」、「寒い」、「ちょうどよい」、「風が強い」等、会議室の室温に関する感想を示す情報を含めてもよい。会議中に各出席者が選択した当該感情アイコンの内容を会議制御部１７によりリアルタイムで集計して、集計結果に基づいて会議室の空調の設定を自動的に変更するようにしてもよい。会議室の室温に関する感想に限らず、会議室の照明の明るさ等、自動的に設定の変更・調節が可能な他の環境に関する感想を示すものであってもよい。

［会議の評価・分析］
会議中もしくは会議後には、会議の内容を評価・分析部１６により評価・分析し、その結果をビデオ会議装置２０や出席者端末３０上に表示するようにしてもよい。例えば、タイムラインや議事録から要約や重要なキーワードを抽出し、得られたテキストに対してポジネガ分析を行って評価スコアを算出し、これを表示するようにしてもよい。

タイムラインや議事録における発言内容に加えて、例えば、画像認識部１３により把握された出席者の表情や動き（居眠りしている、会議に関係ない作業を行っている等）、出席者が付した感情フラグやメッセージ等に基づいて会議の状況を分析し、項目毎に評価スコアを算出して、これを表示するようにしてもよい。例えば、図９の画面例に示すように、中央に会議全体の評価スコアを表示するとともに、周辺には項目毎の評価スコアを表示する。上述の図４の例に示したような会議中の画面に、リアルタイムでの評価内容をダッシュボードとして表示するようにしてもよい。

また、例えば、会議のタイトルやタグ、キーワード、期間等を指定して、該当する過去および開催中の会議を抽出し、これらを要約するとともに、時系列に並び替えて、発言・意見の変化の推移や、ポジネガ分析のスコアの推移、会議の結論（決定事項等）等の情報を表示するようにしてもよい。定例会議等、同一の会議体により複数回開催される会議について、各回の会議についての要約や感情フラグの分布等の情報を集計・分析して効率性をスコアリングし、会議毎のスコアの推移をダッシュボード化して表示するようにしてもよい。

また、会議の評価に加えて、出席者の会議への貢献度を評価するようにしてもよい。例えば、会議中において各出席者による発言のテンポが落ちた状態からテンポが上がった状態に遷移した場合や、各出席者により「疲れた」や「つまらない」の感情フラグが一定数以上付された状態から「いいね！」の感情フラグが一定数以上付された状態に遷移した場合等、会議の状態が低調な状態から好調な状態に遷移したことを検出する。そして、その遷移の間に発言した複数の出席者を特定し、特定された各出席者の発言内容にそれぞれ含まれるキーワードを所定の条件に基づいて重み付けして出席者毎にスコアリングし、各出席者の貢献度とすることができる。キーワードの重み付けは、例えば、会議全体の議事録や要約のテキストとの間の関連度（例えば、テキスト中の出現頻度等）が高い順に自動的に値を設定してもよい。

出席者の会議への貢献度は、各出席者の発言内容に対して他の出席者により付された感情フラグの数に基づいて評価するようにしてもよい。また、例えば、居眠りしている、発言がない、会議に関係ない作業を行っている等、会議への貢献度が低いと思われる出席者を特定し、当該出席者について、例えば、上長であるか否か、会議内容に関連する業務についているか否か、代行出席であるか否か等の属性情報を考慮した上で評価するようにしてもよい。

また、ある出席者について、発言時間が長い（発言数が多い）にも関わらず、マイナスの感情フラグが多かったり、他の作業をする出席者や居眠りしている出席者が増えたり等、会議の効率が低下していると評価される場合は、ビデオ会議装置２０の画面上に、他の発言、もしくは他の発言者を促すコメントやメッセージを表示するようにしてもよい。例えば、会議の司会者やファシリテータ等の他の出席者を指定して、「○○さんはどう思いますか？」や、「いったん休憩しませんか？」等のメッセージや音声を出力するようにしてもよい。なお、特定の出席者の発言に対する評価や貢献度に関わりなく、例えば、「疲れた」や「つまらない」等の特定の感情フラグが一定数以上の出席者から付された場合に、「いったん休憩しませんか？」等のメッセージや音声を出力するようにしてもよい。

以上に説明したように、本発明の一実施の形態である会議支援システム１によれば、社内等の組織内で行われる会議、特に、複数拠点間での音声・ビデオによるオンライン会議において、出席者の認証処理や特定、タイムラインや議事録の作成、会議の内容の評価等の処理を自動的に行うことが可能であり、これにより、会議の運営を支援し効率化することができる。

また、複数の会議体で議論された会議の内容を資産化し、組織内で横断的に共有可能とすることで、現在もしくは過去に社内で議論されている内容について情報を得ることができ、重複した会議や議論を回避することが可能となる。また、必要な情報やスキル等を保有する人や組織を容易に把握してコンタクトをとることも可能となる。これらにより、組織内において多数実施される会議のより一層の効率化を図ることが可能である。

以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は上記の実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。例えば、上記の実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、上記の実施の形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部または全部を、例えば、集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリやハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、またはＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

本発明は、複数の拠点間での会議を支援する会議支援システムおよび会議支援プログラムに利用可能である。

１…会議支援システム、
１０…サーバシステム、１１…ビデオ会議処理部、１２…音声認識部、１３…画像認識部、１４…認証部、１５…タイムライン管理部、１６…評価・分析部、１７…会議制御部、１８…要約生成部、２０…ビデオ会議システム、３０…出席者端末、４０…ネットワーク、１０１…ユーザＤＢ、１０２…コンテンツＤＢ、１０３…タイムラインＤＢ、１０４…議事録ＤＢ

Claims (5)

1. 組織における会議の運営を支援する会議支援システムであって、
   複数の拠点間でのオンラインでのビデオ会議を可能とするビデオ会議装置と、
   前記ビデオ会議装置により取得された映像データから画像認識技術により各出席者に係る画像を認識する画像認識部と、
   前記ビデオ会議装置により各出席者の音声データを取得し、前記音声データと、予め登録された各出席者の音声の特徴情報との比較、および、前記画像認識部により取得された各出席者の動きの情報に基づいて、前記音声データにおける各発言の発言者を特定する音声認識部と、
   前記音声認識部により取得された各出席者の音声データを発言の時系列でタイムラインとして出力するタイムライン管理部と、を有する、会議支援システム。
2. 請求項１に記載の会議支援システムにおいて、
   さらに、前記タイムラインの内容を自然言語処理により要約して議事録を取得し、対象の会議に係る情報と関連付けて議事録記録部に記録する要約生成部と、
   前記タイムラインもしくは前記議事録から抽出されたキーワードに基づいて、前記議事録記録部に記録された、前記組織内で開催されたもしくは現在開催されている他の会議も含む議事録から、関連する議事録に係る情報を取得して出力する会議制御部と、を有する、会議支援システム。
3. 請求項２に記載の会議支援システムにおいて、
   前記タイムライン管理部は、出席者からの指示に基づいて、当該出席者の感情に係る情報を前記タイムラインおよび／または前記議事録に付加する、会議支援システム。
4. 請求項１または２に記載の会議支援システムにおいて、
   さらに、会議の内容および／または各出席者の会議への貢献度を評価して出力する評価・分析部を有し、
   前記評価・分析部は、各出席者の会議への貢献度を、前記音声認識部により取得された各出席者の発言、および前記画像認識部により取得された各出席者の動作の情報に基づいて評価して出力する、会議支援システム。
5. 組織における会議の運営を支援する会議支援システムとして機能するよう、コンピュータに処理を実行させる会議支援プログラムであって、
   複数の拠点間でのオンラインでのビデオ会議を可能とするビデオ会議装置により取得された映像データから画像認識技術により各出席者に係る画像を認識する画像認識処理と、
   前記ビデオ会議装置により各出席者の音声データを取得し、前記音声データと、予め登録された各出席者の音声の特徴情報との比較、および、前記画像認識部により取得された各出席者の動きの情報に基づいて、前記音声データにおける各発言の発言者を特定する音声認識処理と、
   前記音声認識処理により取得された各出席者の音声データを発言の時系列でタイムラインとして出力するタイムライン管理処理と、を前記コンピュータに実行させる、会議支援プログラム。

Images