JP2019211962A - 会議生産性可視化システム、会議生産性可視化装置、可視化方法およびプログラム - Google Patents

Abstract

【課題】会議出席者の特定および、各出席者の会議出席時間の蓄積、出席者の発話・表情・視線等の推定による会議の生産性のスコア化と、各出席者の貢献度に応じた生産性スコアの分配・蓄積により、組織・会議・出席者毎の会議出席時間および生産性スコアの可視化を行うことである。
【解決手段】実施形態の会議生産性可視化システムは、画像に基づいて会議の出席者を特定し、ある出席者が発言している際の他の出席者の挙動を解析する挙動解析部と、各出席者の会議への出席時間を個人会議時間として算出し、その総和から会議時間を算出する会議時間算出部と、解析結果と会議時間に基づいて会議スコアを算出する会議スコア算出部と、解析結果に基づいて各出席者の会議への貢献度を算出する貢献度算出部と、会議スコアと貢献度に基づいて個人スコアを算出する個人スコア算出部と、会議スコアや個人スコアを図示する会議生産性可視化部と、を備える。
【選択図】 図１

Description

本発明の実施形態は、会議生産性可視化システム、会議生産性可視化装置、可視化方法およびプログラムに関する。

日々の業務の中で会議に占める時間は多く、業務の効率化のためには、会議の生産性の向上が重要となっている。従来より、各出席者の会議時間を計測・蓄積することで、会議毎・プロジェクト毎・個人毎に会議時間を集計する技術が知られている。また、無音時間、中断時間などから会議の無駄なコストを算出し、さらに、個人の発言量に応じた個人の貢献コストを算出する技術が知られている。一方、カメラを用いて出席者の姿勢（うつ伏せ・仰向けなど）を推定することにより、出席者の態度を含めた会議全体の評価を可能にする技術が知られている。加えて、音声認識技術を用いて会議の内容自体を解析することにより、会議のフェーズ毎に発言者の貢献度を算出する技術が知られている。

ところが、従来の技術では、会議の質、参加者個人の貢献コストは独立に算出されるため、質の高い会議が行われても個人の貢献コストには直結せず、出席者全員で良い会議を作り出す雰囲気を醸成することが難しい。また、個人の貢献コストを蓄積し、可視化することができないために、質の高い会議に貢献する人物の特定が困難である。さらに、特定の出席者が発言し続ける場合、他の出席者の発言を阻害している可能性が高いにも関わらず、貢献度は高くなり、計測される会議の質も高いものとなってしまうという問題がある。加えて、発言中の他の出席者の態度は、会議そのものの質あるいは、態度を取っている本人の評価に用いられるのみである。さらに、音声認識を用いた手法は、認識率等の課題が多く、発言内容、および会議フェーズ自体の特定が困難である。

特開2005-31944号公報 特開2011-60054号公報 特開2013-8114号公報 特開2000-99570号公報 特開2013-6511号公報 特開平9-307868号公報

T. Watanabe et al.: Co-occurrence histograms of oriented gradients for pedestrian detection, 2009 湯浅他、高精度顔特徴点検出に基づくデジタルメイクシステム、SSII10、2004 T. Kozakaya et al.: Face Recognition by Projection-based 3D Normalization and Shading Subspace Orthogonalization, 2006

本発明が解決しようとする課題は、センサを用いた会議出席者の特定および、各出席者の会議出席時間の蓄積、さらに、出席者の発話状態・表情・視線（ノンバーバル情報）等の推定による会議の生産性のスコア化と、各出席者の貢献度に応じた生産性スコアの分配・蓄積により、組織・会議・出席者毎の会議出席時間および、生産性スコアの可視化を行うことである。

上記課題を達成するために、実施形態の会議生産性可視化システムは、画像に基づいて、会議の出席者を特定し、ある出席者が発言している際の、他の出席者の挙動を解析する挙動解析部と、各出席者の会議への出席時間を個人会議時間として算出し、全出席者の個人会議時間の総和から会議時間を算出する会議時間算出部と、前記挙動解析部の解析結果および算出した会議時間に基づいて、会議の生産性を評価する会議スコアを算出する会議スコア算出部と、前記挙動解析部の解析結果に基づいて、各出席者の会議への貢献度を算出する貢献度算出部と、算出した会議スコアおよび貢献度に基づいて、個人スコアを算出する個人スコア算出部と、算出した会議スコアまたはおよび個人スコアを図示する会議生産性可視化部と、を備える。

本実施形態に係る会議生産性可視化システムを示すブロック図。 本実施形態に係る会議生産性可視化システムの動作の前半。 本実施形態に係る画像取得装置１００の設置方法の一例。 本実施形態に係る挙動解析の詳細な動作。 本実施形態に係る会議履歴ＤＢ２４０ａの一例。 本実施形態に係るユーザテーブル２４０ｂの一例。 本実施形態に係る会議テーブル２４０ｃの一例。 本実施形態に係る会議生産性可視化システムの動作の後半。 本実施形態に係る会議スコア算出部２３０の詳細な動作。 本実施形態に係る補正値テーブル２４０ｄの一例。 本実施形態に係る貢献度算出部２３０の詳細な動作。 本実施形態に係る個人スコアの算出イメージの一例。 本実施形態に係る会議生産性の図示方法の一例。

以下、発明を実施するための実施形態について説明する。図１は、本実施形態に係る会議生産性可視化システムを示すブロック図である。本実施形態の会議生産性可視化システムは、画像取得装置１００と会議生産性可視化装置２００がネットワークを介して接続される。

画像取得装置１００は、例えばカメラや赤外線センサ等であり、会議の出席者等の画像を取得する画像取得部１１０を備える。会議生産性可視化装置２００は、挙動解析部２１０、会議時間算出部２２０、会議スコア算出部２３０、記憶部２４０、貢献度算出部２５０、個人スコア算出部２６０、会議生産性可視化部２７０を備える。

挙動解析部２１０は、出席者特定部２１１、発言者特定部２１２、発言量算出部２１３、注視方向推定部２１４、うなずき検出部２１５、動き量推定部２１６、笑顔推定部２１７を備える。

出席者特定部２１１は、画像取得部１１０により取得した画像中から出席者を検出する。発言者特定部２１２は、出席者特定部２１１にて特定した出席者の口元部分を検出し、口の開閉状態から発言者の特定を行う。発言量算出部２１３は、発言者特定部２１２にて特定した出席者の口の開閉状態に基づいて、該当出席者の発言時間を算出する。

注視方向推定部２１４は、出席者特定部２１１にて特定した出席者の頭部を検出し、頭部位置および頭部方向から、各出席者の注視方向を推定する。うなずき検出部２１５は、注視方向推定部２１４にて特定した出席者の頭部または顔の垂直方向の動きや振幅から、各出席者の後述するうなずき状態を検出する。動き量推定部２１６は、注視方向推定部２１４にて特定した出席者の頭部または顔の動き量を測定する。

笑顔推定部２１７は、出席者特定部２１１にて特定した出席者の顔領域に対して、後述する笑顔度を算出する。なお、挙動解析部２１０は、会議中の各出席者の挙動を判断することができればよく、出席者特定部２１１、発言者特定部２１２、発言量算出部２１３、注視方向推定部２１４、うなずき検出部２１５、動き量推定部２１６、笑顔推定部２１７の全てを含まなくても良い。

会議時間算出部２２０は、挙動解析部２１０での解析結果に基づいて、会議時間を算出する。会議スコア算出部２３０は、挙動解析部２１０での解析結果と会議時間算出部２２０で算出した会議時間に基づいて、会議全体の生産性の指標である会議スコアを算出する。貢献度算出部２５０は、挙動解析部２１０での解析結果に基づいて、各出席者の会議への貢献度を算出する。個人スコア算出部２６０は、会議スコア算出部２３０で算出した会議スコアと貢献度算出部２５０で算出した各出席者の貢献度に基づいて、各出席者の個人スコアを算出する。記憶部２４０は、挙動解析部２１０等で解析を行う際に参照するデータテーブルや、個人スコア算出部２６０等の算出結果を記憶する。会議生産性可視化部２７０は、例えば液晶モニタ、ディスプレイ等であり、個人スコア算出部２６０等の算出結果を図示する。

続いて、図２を用いて本実施形態に係る会議生産性可視化システムの動作の前半を説明する。まず、画像取得装置１００の画像取得部１１０が出席者の画像を取得する（Ｓ２０１）。画像取得装置１００は、例えばカメラ、赤外線センサ、画像撮影機能付きの端末等である。

図３は、本実施形態に係る画像取得装置１００の設置方法の一例を示している。図３では、できるだけ多くの出席者が撮影可能なように、画像取得装置１００を机の上に設置している。ここで、全ての出席者が撮影可能な位置に画像取得装置１００を設置することが望ましい。また、画像取得装置１００は一台に限らず複数台設けても良い。画像取得装置１００を複数台設ける場合は、取得した画像データに撮像時刻および画像取得装置の識別ＩＤ等を付随させることにより、撮影結果をマージできるようにすると良い。

次に、挙動解析部２１０は、取得した画像内の出席者の挙動を解析する（Ｓ２０２）。挙動解析の具体例の詳細は後述する。

続いて、挙動解析部２１０は、会議が終了しているか否か判定する（Ｓ２０３）。会議が終了していない場合（Ｓ２０３のＮｏ）、Ｓ２０１へ戻る。本実施形態では、画像取得部１１０からの入力信号が途絶えたとき、例えば、画像取得装置１００の電源がＯＦＦにされた場合に会議が終了したと判定する。なお、挙動解析部２１０は、取得した画像から出席者の動きが変わったと推定できるとき、例えば、参加者全員が立ち上がった場合や、会議室の中を片づけていると判断した場合等に、会議が終了したと判定しても良い。会議が終了した場合（Ｓ２０３のＹｅｓ）、本実施形態に係る会議生産性可視化システムの動作の後半（Ａ）へ進む。

ここで、図４を用いて、本実施形態に係る挙動解析の詳細な動作を説明する。まず、出席者特定部２１１は、取得した画像の中から人物領域を特定する（Ｓ４０１）。本実施形態では、公知の顔検出技術を用いることで画像中から人物領域（顔領域）を検出する。顔領域検出では顔画像と顔以外の画像を用意しモデルを学習することにより、学習したモデルと検出した画像の類似度を算出することにより顔らしさを算出する。顔領域検出技術については公知技術が存在し、例えば、（非特許文献１）を用いても良い。
（非特許文献１）T. Watanabe et al.: Co-occurrence histograms of oriented gradients for pedestrian detection, 2009

次に、出席者特定部２１１は、検出した顔領域毎に出席者を特定する（Ｓ４０２）。本実施形態では、事前に記憶部２４０に記憶した顔辞書データとの照合処理を行うことで、出席者を特定する。顔辞書データとは、会議の出席者と当該出席者の顔の特徴量とを関連づけて記憶したものである。照合処理は、取得した画像における人物の顔領域の特徴点位置を特定し、当該特徴点位置から特徴量を算出した後に、当該特徴量と予め記憶された出席者の顔の特徴量とを比較することで実現可能である。顔の照合処理については公知技術が存在し、例えば（特許文献５）を用いても良い。
（特許文献５）特開2013-6511号公報「顔認識装置、及び顔認識方法」
本実施形態では、記憶部２４０内の会議履歴ＤＢ２４０ａに、特定された出席者のユーザＩＤを格納する。また、各出席者が特定された画像の取得時刻を「開始時刻」として各出席者のユーザＩＤに関連付け記憶する。なお、画像の取得時刻ではなく、出席者が特定された時刻を「開始時刻」とする等、各出席者間での条件が合致しており、会議のおよその開始時間を特定できる時刻であれば、どの時刻を使用しても構わない。

ここで、図５に会議履歴ＤＢ２４０ａの一例を示す。本実施形態では、会議毎に会議履歴のテーブルが生成される。例えば、会議ＩＤ「Ｐ００１」の会議履歴には、当該会議の出席者として特定された出席者の「ユーザＩＤ」、各出席者が会議に出席しはじめた「開始時刻」、各出席者が会議を終えた「終了時刻」、各出席者の会議を通した「通算発言量」、「通算被注視回数」、「通算うなずき回数」、「通算動き回数」、「通算被笑顔回数」、各出席者の会議への出席時間を示す「個人会議時間」、「個人スコア」等を格納する欄を備える。なお、会議毎でなく出席者（ユーザ）毎に会議履歴のテーブルが生成されても良い。

また、図６に記憶部２４０内のユーザテーブル２４０ｂの一例を示す。本実施形態では、会議の出席者となりえる出席者をあらかじめ登録し、ユーザＩＤが付与される。ユーザテーブル２４０ｂは、付与される「ユーザＩＤ」、出席者の「氏名」、出席者の属性（所属する「組織」、参加中の「プロジェクト」、参加中の「定例会議」等）を格納する欄を備える。出席者の氏名や属性は、会議生産性可視化装置２００の管理者等が入力しても良いし、社内電話帳等、他のシステムから自動的に参照しても良い。また、登録された属性から、会議名とひも付けて出席者を特定したり、出欠を管理しても良い。

さらに、図７に記憶部２４０内の会議テーブル２４０ｃの一例を示す。本実施形態では、あらかじめ会議の詳細を登録する。会議テーブル２４０ｃは、付与された「会議ＩＤ」、「会議名」、会議の詳細（会議の内容を示す「キーワード」、会議の開催「期間」、求められている「出席者」等）を格納する欄を備える。会議名や詳細は、会議生産性可視化装置２００の管理者等が入力しても良いし、例えば、会議の開催案内メール等をテキスト分析することにより、「会議名」「キーワード」「期間」「出席者」等を推定することで登録しても良い。また、「会議名」「キーワード」からユーザテーブル２４０ｂを参照することで「出席者」を特定しても良いし、出欠を管理しても良い。なお、会議毎に会議ＩＤを付与するのみで、会議の詳細を記録しておかなくても良い。

続いて、発言者特定部２１２は、Ｓ３０１にて検出した顔領域内から口の領域の抽出を行い、当該人物の口の開閉状態から発言者の特定を行う（Ｓ４０３）。口領域および、口の開閉状態の抽出についても公知技術を用いることができる。例えば（非特許文献２）を用いて、口の開閉情報を取得し、上下唇間の垂直方向距離の閾値処理を行うことにより、発言中の出席者を特定しても良い。
（非特許文献２）湯浅他、高精度顔特徴点検出に基づくデジタルメイクシステム、SSII10、2004
また、（特許文献６）を用いて、画像中の人物が発言中か否かの判断をしても良い。
（特許文献６）特開平9-307868号公報「コミュニケーション装置及び、コミュニケーション方法」

次に、発言量算出部２１３は、発言者特定部２１２にて特定された発言者の発言量を算出する（Ｓ４０４）。本実施形態では、各発言者の発話開始時刻と発話終了時刻から、当該発言者の発言時間を測定し、当該測定結果を発言者毎に加算、加算結果を記憶部２４０に記憶する（Ｓ４０９）。測定、加算した結果は、会議履歴ＤＢ２４０内、該当する会議履歴テーブルの「通算発言量」欄に該当出席者のユーザＩＤと関連付けて格納する。発言量の更新タイミング（加算のタイミング）は発言者の発言の終了時でも、発言者の発言の終了を待たず、逐次発言量を更新しても良い。

また、注視方向推定部２１４は、画像中から検出した頭部の位置および頭部の方向から、各出席者の注視方向を推定する（Ｓ４０５）。本実施形態では、Ｓ４０２にて顔の特徴量算出に使用された顔の特徴点位置を、人の3D座標モデルに当てはめることにより、頭部の位置および、頭部の方向を推定する。出席者特定部２１１にて検出した顔の位置を頭部の位置として代用しても良い。さらに、（非特許文献３）を用いて、より正確な頭部の位置、および方向を推定しても良い。
（非特許文献３）T. Kozakaya et al.: Face Recognition by Projection-based 3D Normalization and Shading Subspace Orthogonalization, 2006
本実施形態では、各出席者が注視する人物を推定し、各出席者が他の出席者に注視された回数を「通算被注視回数」としてカウントする。ここで、注視された回数ではなく、注視された時間を測定しても良い。

次にうなずき検出部２１５は、検出した頭部または顔の垂直方向の動き量および振幅から出席者毎のうなずきを検出する（Ｓ４０６）。続いて、動き量推定部２１６は、検出した頭部または顔の動き量を測定する（Ｓ４０７）。本実施形態では、画像中の頭部領域周辺のＯｐｔｉｃａｌ Ｆｌｏｗを算出し、頭部領域のＦｌｏｗベクトルの長さの総和から出席者のうなずきや動き量を推定する。フレーム間差分法や背景差分法を用いてもよい。ここで、うなずき検出部２１５および動き量推定部２１６が動き量を検出するアルゴリズムは同一であって良く、うなずき検出部２１５は顔の垂直方向の動き（つまり、うなずきに当たる動き）を主に検出し、各出席者が他の出席者にうなずかれた回数を「通算被うなずき回数」としてカウントする。各出席者が他の出席者にうなずかれたか否かは、うなずいた他の出席者の注視方向から判断しても良いし、ある出席者がうなずいた際に発言している出席者がうなずかれたと判断しても良い。動き量推定部２１６はその他の動きも検出し、出席者毎に回数をカウントする。なお、動き量推定部２１６が、うなずき検出部２１５の機能を包含しても良い。

最後に、当該測定結果を記憶部２４０に記憶する（Ｓ４０９）。カウントした「通算被注視回数」は、会議履歴ＤＢ２４０内、該当する会議履歴テーブルの「通算被注視回数」欄に該当出席者のユーザＩＤと関連付けて格納する。また、本実施形態では、所定量以上の動き量を検出した際に「うなずき」「動き」があったと推定し、「うなずき」「動き」の回数をカウントする。カウントした「うなずき」回数および「動き」回数は、会議履歴ＤＢ２４０内、該当する会議履歴テーブルの「通算被うなずき回数」および「通算動き回数」欄に該当出席者のユーザＩＤと関連付けて格納する。ここで、「うなずき」「動き」回数ではなく、Ｆｌｏｗベクトルの総和等、具体的な数値を算出・記憶したり、重み付けしても良い。なお、「通算被注視回数」「通算被うなずき回数」「通算動き回数」を記憶するタイミングは、注視方向推定部２１４、うなずき検出部２１５、動き量推定部２１６の各々の推定、検出結果が出る度でも良いし、最後にまとめて記憶しても良い。

さらに、検出した顔領域に笑顔推定用モデルとの類似を算出することにより、笑顔か否かを推定する（Ｓ４０８）。公知技術より、笑顔と笑顔以外の顔画像からモデルを学習し、顔領域検出と同様の手法で笑顔か否かを推定することが可能である。本実施形態では、各出席者が他の出席者を笑顔にさせた回数をカウントし、記憶部２４０に記憶する（Ｓ４０９）。各出席者が他の出席者を笑顔にさせた回数を「通算被笑顔回数」としてカウントする。各出席者が他の出席者を笑顔にさせたか否かは、笑顔になった際の他の出席者の注視方向から判断しても良いし、ある出席者が笑顔になった際に発言している出席者に対して笑顔になったと判断しても良い。カウントした笑顔の回数は、会議履歴ＤＢ２４０内、該当する会議履歴テーブルの「通算被笑顔回数」欄に該当出席者のユーザＩＤと関連付けて格納される。ここで、笑顔にさせた回数ではなく、笑顔で応えた回数をカウントしても良い。また、笑顔か否かだけでなく笑顔の程度を推定する等、具体的な数値を算出・記憶したり、重み付けしても良い。

以上で、挙動解析の詳細な動作は終了である。なお、以上の処理は画像取得部１１０より画像が入力される度に、検出される人物に対して行う。このように、特定の人物が発言している際に、多数の出席者がうなずいている、発言者を注視しているような場合、当該人物は会議に大きく貢献している可能性が高いと考えられる。特定の人物が発言している際の他の出席者の状態・態度である「通算被注視回数」「通算被うなずき回数」「通算被笑顔回数」等を検出できれば、より正確に会議の生産性を可視化することができる。

次に、本実施形態に係る会議生産性可視化システムの動作の後半について図８を用いて説明する。まず、会議時間算出部２２０は、記憶部２４０内の会議履歴ＤＢ２４０ａを参照し、当該会議の会議時間を算出する（Ｓ８０１）。本実施形態では、各出席者の会議履歴ＤＢ２４０ａの「開始時刻」および「終了時刻」の差分を取ることで、当該出席者の会議の出席時間を算出する。算出した出席時間は、会議履歴ＤＢ２４０ａの「個人会議時間」欄に格納される。また、本実施形態では、会議時間として、全出席者の「個人会議時間」の総和を算出する。

続いて、会議スコア算出部２３０は、記憶部２４０内の会議履歴ＤＢ２４０ａを参照し、会議の生産性を評価する（Ｓ８０２）。本実施形態では、会議時間をベースとして、会議スコアの算出を行う。会議スコアとは、各出席者の会議中の挙動等に基づいて、会議の生産性を点数化したものである。会議スコア算出部２３０では、挙動解析部２１０にて解析した出席者の挙動から、会議の生産性を評価する。

ここで、図９を用いて、Ｓ８０２における会議スコア算出部２３０の詳細な動作を説明する。Ｓ８０２では以下の手順・指標に基づき会議スコアを算出する。

最初に、出席者の発言量の総和を算出し、会議時間に対して通算発言量の総和が占める割合に基づいて会議スコアを補正する（Ｓ９０１）。本実施形態では、会議履歴ＤＢ２４０ａを参照し、各出席者の「通算発言量」の欄の総和を算出することで、各出席者の発言量の総和を算出する。また、本実施形態では、会議時間に対して発言量の総和が閾値以上である時は活発な議論が行われていると判断する。そのため、会議時間に補正値を掛け合わせ、会議スコアを増加方向に補正する。逆に、会議時間に対して発言量の総和が閾値よりも小さい時は、活発な議論が行われていないと判断する。そのため、会議時間に補正値を掛け合わせ、会議スコアを減少方向に補正する。ここで、閾値を設定することで「活発な議論が行われている」「活発な議論が行われていない」の２種類の補正値を用意しているが、例えば「活発な議論が行われている」「平凡な議論が行われている」「活発な議論が行われていない」等、刻み幅を用意することで複数の補正値を用いても良い。また、会議時間に対する割合ではなく、通算発言量の総和の絶対量から補正を行っても良い。なお、発言量の総和が会議時間に占める割合と補正値との対応関係ついては別途テーブルを記憶部２４０に記憶する。

ここで、図１０に補正値を設定した補正値テーブルの一例を示す。図１０は、発言量の総和が会議時間に占める割合と補正値との対応関係を示す補正値テーブル２４０ｄである。本実施形態では、会議時間に対する発言量の総和の割合が「０．３未満」である場合は「０．５」、「０．３〜０．８」である場合は「１．０」、「０．８より大きい」場合は「２．０」であることを示している。なお、会議の生産性を示すことができれば、補正値テーブルの閾値や刻み幅をどのように設定しても構わない。また、項目によっては補正値を設けなくてもよい。

続いて、各出席者の発言量の偏りに基づいて、さらに会議スコアを補正する（Ｓ９０２）。本実施形態では、各出席者の通算発言量が発言量の総和に占める割合に基づいて、会議スコアを補正する。各出席者の発言量の全体に占める割合が、出席者毎で大きく変わらない場合、つまり、各出席者の発言量の偏りが小さい時は、各出席者が積極的に会議に参加しているとして、会議スコアを増加方向に補正する。逆に、出席者の一部の発言量の割合が他の出席者よりも大きい場合には、発言が偏っていると判断し、会議スコアを減少方向に補正する。偏りと補正値の対応関係についても、別途テーブルを用意しておく。

次に、出席者の笑顔度に基づいて、さらに会議スコアを補正する（Ｓ９０３）。本実施形態では、会議履歴ＤＢ２４０ａの各出席者の通算被笑顔回数の総和を算出し、笑顔度とする。笑顔度が閾値以上の場合、良い雰囲気で会議が行われていると判断され、会議スコアを増加方向に補正する。一方、閾値よりも低い場合は、会議スコアを減少方向に補正する。ここで、笑顔の回数ではなく、笑顔の程度に関する具体的な数値から総和を算出しても良い。また、総和ではなく、出席者の平均を笑顔度としても良い。総和あるいは平均の値と補正値の対応関係についても、別途テーブルを用意しておく。

続いて、出席者の注視度に基づいて、さらに会議スコアを補正する（Ｓ９０４）。本実施形態では、会議履歴ＤＢ２４０の各出席者の通算被注視回数の総和を算出し、注視度とする。注視度と補正値の対応関係についても、別途テーブルを用意しておく。被注視回数の総和が閾値以上の場合、出席者が会議に集中していると判断され、会議スコアを増加方向に補正する。一方、閾値よりも少ない場合は、会議スコアを減少方向に補正する。ここで、各出席者の視線方向の一致度を注視度として、会議スコアを補正してもよい。一致度の計算は、例えば、各出席者の頭部位置を起点とした頭部方向で生成される３次元空間上の直線の交点もしくは最短距離を相互に求めることによって算出する。あるいは、２ＤのHough 変換を３Ｄに拡張し、上記直線を３次元空間に投票し、最大の投票値を一致度と計算してもよい。この場合、各出席者の会議履歴ＤＢ２４０ａの他に、図示しない注視度テーブルを用意する。注視度テーブルは、例えば、時刻に基づいて視線方向の一致度を記憶する。

次に、各出席者の動き量の総和を計算し、さらに会議スコアを補正する（Ｓ９０５）。本実施形態では、会議履歴ＤＢ２４０ａの通算動き回数の総和を算出し、動き量の総和とする。総和が大きい時は会議の活性度が高いと判断し、会議スコアを増加方向に補正し、総和が小さい時は会議スコアを減少方向に補正する。ここで、動きの回数ではなく、動き量の具体的な数値から総和を算出しても良い。また、総和ではなく、出席者の平均を動き量の総和としても良い。動き量と補正値の対応関係についても、別途テーブルを用意しておく。

以上がＳ８０２における会議スコア算出部２３０の詳細な動作である。なお、補正値の閾値あるいは刻み幅は会議時間で正規化しても良い。例えば、補正値が100の時、「会議時間」＝「会議スコア」となるように設定しておけば、各指標によって算出された補正値に対し、計算された補正値／１００×会議スコアの計算にて、実際の値の補正が可能である。また、各指標の重みについては、会議生産性可視化装置２００の管理者等が自由に設定可能とする。例えば、出席者の発言量の総和が重要であると判断すれば、重みを「2」に、その他4つの指標については、重みを「1」に設定し、各補正値を上記重みで加重平均を取れば、発言量の総和の重要度を他の指標の「2倍」にすることができる。なお、以上の指標が全て標準値の場合は、「会議スコア」＝「会議時間」となる。なお、会議スコアは、会議の生産性を示すことができればどのように補正されても構わない。

次に、貢献度算出部２５０は、記憶部２４０内の会議履歴ＤＢ２４０ａを参照し、各出席者の会議への貢献度を評価する（Ｓ８０３）。貢献度とは、各出席者が会議へどのくらい貢献したかの割合を数値化したものである。本実施形態では、挙動解析部２１０にて解析した出席者の挙動から、各出席者の貢献度を評価する。

ここで、図１１を用いて、Ｓ８０３における貢献度算出部２５０の詳細な動作を説明する。Ｓ８０３では以下の手順・指標に基づき貢献度を算出していく。

最初に、各出席者の貢献度を「発言率」に設定する（Ｓ１１０１）。発言率とは、全出席者の通算発言量の総和に占める各出席者の通算発言量の割合である。あるいは、会議時間に占める各出席者の通算発言量の割合でも良い。

続いて、各出席者が他の出席者にうなずかれた回数に基づいて、貢献度を補正する（Ｓ１１０２）。本実施形態では、会議履歴ＤＢ２４０の各出席者の「通算被うなずき回数」に基づいて、各出席者の貢献度を補正する。ある出席者の「通算被うなずき回数」が閾値以上の場合、当該出席者の貢献度を増加方向に補正する。一方、閾値よりも少ない場合は、貢献度を減少方向に補正する。通算被うなずき回数と補正値の対応関係についても、別途テーブルを用意しておく。

次に、各出席者が他の出席者を笑顔にさせた回数に基づいて、さらに貢献度を補正する（Ｓ１１０３）。本実施形態では、会議履歴ＤＢ２４０の各出席者の「通算被笑顔回数」に基づいて、各出席者の貢献度を補正する。ある出席者の「通算被笑顔回数」が閾値以上の場合、より多くの出席者の笑顔を獲得しているため、当該出席者の貢献度を増加方向に補正する。一方、閾値よりも少ない場合は、貢献度を減少方向に補正する。ここで、笑顔の回数ではなく、笑顔の程度に関する具体的な数値に基づいて補正を行っても良い。通算被笑顔回数と補正値の対応関係についても、別途テーブルを用意しておく。

最後に、各出席者が他の出席者から注視された回数に基づいて、さらに貢献度を補正する（Ｓ１１０４）。本実施形態では、会議履歴ＤＢ２４０の各出席者の「通算被注視回数」に基づいて、各出席者の貢献度を補正する。ある出席者の「通算被注視回数」が閾値以上の場合、より注目されたとして、当該出席者の貢献度を増加方向に補正する。一方、閾値よりも少ない場合は、貢献度を減少方向に補正する。ここで、注視された回数ではなく、注視時間に基づいて補正を行っても良い。通算被笑顔回数と補正値の対応関係についても、別途テーブルを用意しておく。

以上がＳ８０３における貢献度算出部２５０の詳細な動作である。なお、本実施形態において、補正値は当初設定した発言率に対する倍率として定義する。例えば発言率が「0.5」で補正値が「1.5」と設定された場合、貢献度は「0.75」となる。標準の評価結果であれば、「貢献度」＝「発言率」のままである。また、各指標の重みについては、会議生産性可視化装置２００の管理者等が自由に設定可能とする。例えば、うなずかれた回数が重要であると判断すれば、重みを「2」に、その他2つの指標については、重みを「1」に設定し、各補正値を上記重みで加重平均を取れば、発言量の総和の重要度を、他の指標の「2倍」にすることができる。なお貢献度は、各出席者の会議の生産を示すことができれば、どのように補正されても構わない。

続いて、個人スコア算出部２６０は、各出席者の個人スコアを算出する（Ｓ８０４）。個人スコアとは、各出席者が会議へどのくらい貢献したのかを点数化したものである。本実施形態では、「会議スコア」に各出席者の「貢献度」の割合を乗算することにより、各出席者の個人スコアを算出する。

本実施形態における個人スコアの算出イメージの一例について、図１２に示す。図１２に示すグラフは、会議ＩＤ「Ｐ００１」の個人スコアの算出イメージであり、（ａ）は「会議時間」、（ｂ）は「会議スコア」、（ｃ）は「個人スコア」を示している。まず、会議ＩＤ「Ｐ００１」の「会議時間」は、会議履歴ＤＢ２４０ａ内の会議履歴を参照し、出席者であるユーザＩＤ「Ｓ００１」「Ｄ００４」「Ｓ００２」「Ｍ００３」の「個人会議時間」を足し合わせることで、「４ｈ」と算出する。（ａ）会議時間のグラフは、会議スコア算出部２３０にて補正され、算出された会議スコアをグラフ（ｂ）に示す。本実施形態では、補正により「会議スコア」が「会議時間」の２．０倍である「８．０」となっている。さらに、「会議スコア」に「貢献度」の割合を乗算することで算出した、各出席者の個人スコアをグラフ（ｃ）に示す。本実施形態では、「東芝 太郎」「西芝 花子」「北芝 次郎」「南芝 三郎」さんの貢献度がそれぞれ「２．５」「４．０」「０．５」「１．０」と算出されており、例えば、ユーザＩＤ「Ｄ００４」である「西芝 花子」さんの個人スコアは、会議スコア「８．０」に貢献度の割合「４．０/（２．５＋４．０＋０．５＋１．０）」を乗算することにより、「４．０」と算出される。算出した「個人スコア」は会議ＤＢ２４０ａの「個人スコア」欄にユーザＩＤと対応付けて記憶される。なお、個人スコアは、「会議スコア」＝「各出席者の個人スコアの合計」となるように設定されても良いし、各出席者の会議の生産を示すことができればどのように算出されても構わない。

本実施形態では、会議終了後に会議時間、会議スコア、貢献度、個人スコアを算出しているが、リアルタイムで更新される挙動解析部２１０の挙動解析結果に基づいて会議時間、会議スコア、貢献度を逐次更新を行い、挙動解析結果が更新されるタイミング個人スコアを更新しても良い。その場合、挙動解析部２１０の挙動解析結果は記憶部２４０に記憶しなくても良い。

最後に、会議生産性可視化部２７０は、算出した会議時間、個人スコア等を図示することで可視化する（Ｓ８０５）。本実施形態では、図１３に示すようなグラフに図示することで可視化する。図１３は、会議履歴ＤＢ２４０ａを参照し、ユーザ毎の会議時間（つまり個人会議時間）、会議スコア（つまり個人スコア）をグラフ化したものである。この例では、2017年度上期累積の会議時間、会議スコアをグラフ化しているが、累積の期間は自由に設定できるようにしても良い。また、会議毎に会議時間、会議スコアを表示したり、ユーザテーブル２４０ｂを参照することにより、組織毎や参加プロジェクト毎で合算した会議時間、会議スコアを表示できるようにしても良い。このように、個人毎、会議毎、組織毎、プロジェクト毎等、出席者の属性や会議の詳細毎に会議をグラフ化する。

なお、上記の実施形態に記載した手法は、コンピュータに実行させることのできるプログラムとして、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（CD−ROM、DVD等）、光磁気ディスク（MO）、半導体メモリ等の記憶媒体に格納して頒布することもできる。

ここで、記憶媒体としては、プログラムを記憶でき、且つコンピュータが読み取り可能な記憶媒体であれば、その記憶形式は何れの形態であってもよい。

また、記憶媒体からコンピュータにインストールされたプログラムの指示に基づきコンピュータ上で稼働しているOS（オペレーティングシステム）や、データベース管理ソフト、ネットワークソフト等のMW（ミドルウェア）等が本実施形態を実現するための各処理の一部を実行しても良い。

さらに、本実施形態における記憶媒体は、コンピュータと独立した媒体に限らず、LANやインターネット等により伝送されたプログラムをダウンロードして記憶または一時記憶した記憶媒体も含まれる。

また、記憶媒体は１つに限らず、複数の媒体から本実施形態における処理が実行される場合も本実施形態における記憶媒体に含まれ、媒体構成は何れの構成であっても良い。

なお、本実施形態におけるコンピュータとは、記憶媒体に記憶されたプログラムに基づき、本実施形態における各処理を実行するものであって、パソコン等の１つからなる装置、複数の装置がネットワーク接続されたシステム等の何れの構成であっても良い。

また、本実施形態の各記憶装置は１つの記憶装置で実現しても良いし、複数の記憶装置で実現しても良い。

そして、本実施形態におけるコンピュータとは、パソコンに限らず、情報処理機器に含まれる演算処理装置、マイコン等も含み、プログラムによって本実施形態の機能を実現することが可能な機器、装置を総称している。

以上、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、説明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１００…画像取得装置
１１０…画像取得部
２００…会議生産性可視化装置
２１０…挙動解析部
２１１…出席者特定部
２１２…発言者特定部
２１３…発言量算出部
２１４…注視方向推定部
２１５…うなずき検出部
２１６…動き量推定部
２１７…笑顔推定部
２２０…会議時間算出部
２３０…会議スコア算出部
２４０…記憶部
２４０ａ…会議履歴ＤＢ
２４０ｂ…ユーザテーブル
２４０ｃ…会議テーブル
２４０ｄ…補正値テーブル
２５０…貢献度算出部
２６０…個人スコア算出部
２７０…会議生産性可視化部

Claims (12)

1. 画像から会議の生産性を可視化する会議生産性可視化装置であって、
   前記画像に基づいて、会議の出席者を特定し、ある出席者が発言している際の、他の出席者の挙動を解析する挙動解析部と、
   各出席者の会議への出席時間を個人会議時間として算出し、全出席者の個人会議時間の総和から会議時間を算出する会議時間算出部と、
   前記挙動解析部の解析結果および算出した会議時間に基づいて、会議の生産性を評価する会議スコアを算出する会議スコア算出部と、
   前記挙動解析部の解析結果に基づいて、各出席者の会議への貢献度を算出する貢献度算出部と、
   算出した会議スコアおよび貢献度に基づいて、個人スコアを算出する個人スコア算出部と、
   算出した会議スコアまたはおよび個人スコアを図示する会議生産性可視化部と、
   を備える、会議生産性可視化装置。
2. 前記会議生産性可視化装置は、記憶部を備え、
   前記挙動解析部は、
   受信した画像から検出した人物と前記記憶部に予め記憶された顔辞書データとの照合処理を行い、出席者を特定する出席者特定手部と、
   受信した画像から出席者の口の動きを検出し、発言している出席者を特定する発言者特定部と、
   特定した各出席者の会議時間中の発言量を算出する発言量算出部と、
   前記出席者特定部で特定した各出席者の頭部位置および頭部方向から、各注視方向を推定する注視方向推定部と、を備える
   請求項１に記載の会議生産性可視化装置。
3. 前記会議生産性可視化装置は、記憶部を備え、
   前記挙動解析部は、
   受信した画像から検出した人物と前記記憶部に予め記憶された顔辞書データとの照合処理を行い、出席者を特定する出席者特定手部と、
   受信した画像から出席者の口の動きを検出し、発言している出席者を特定する発言者特定部と、
   特定した各出席者の会議時間中の発言量を算出する発言量算出部と、
   各出席者の頭部方向の時間変位から、うなずいたか否かを検出するうなずき検出部と、を備える
   請求項１に記載の会議生産性可視化装置。
4. 前記会議生産性可視化装置は、記憶部を備え、
   前記挙動解析部は、
   受信した画像から検出した人物と前記記憶部に予め記憶された顔辞書データとの照合処理を行い、出席者を特定する出席者特定手部と、
   受信した画像から出席者の口の動きを検出し、発言している出席者を特定する発言者特定部と、
   特定した各出席者の会議時間中の発言量を算出する発言量算出部と、を備え、
   各出席者の頭部位置の時間変位から、出席者の動き量を推定する動き推定部と、を備える
   請求項１に記載の会議生産性可視化装置。
5. 前記会議生産性可視化装置は、記憶部を備え、
   前記挙動解析部は、
   受信した画像から検出した人物と前記記憶部に予め記憶された顔辞書データとの照合処理を行い、出席者を特定する出席者特定手部と、
   受信した画像から出席者の口の動きを検出し、発言している出席者を特定する発言者特定部と、
   特定した各出席者の会議時間中の発言量を算出する発言量算出部と、
   各出席者が笑顔か否かを推定する笑顔推定部と、を備える
   請求項１に記載の会議生産性可視化装置。
6. 前記会議スコア算出部は、会議スコアを会議時間に設定し、
   前記挙動解析部の解析結果から、
   各出席者の発言量の総和および前記会議時間に対して発言量の総和が占める割合を算出し、
   算出した前記会議時間に対して発言量の総和が占める割合、各出席者の発言量の偏り、各出席者の笑顔度いずれかに基づいて、
   前記会議スコアを補正する、請求項５に記載の会議生産性可視化装置。
7. 前記会議スコア算出手段は、
   前記挙動解析部の解析結果から、
   各出席者の注視度、またはおよび各出席者の動き量の総和に基づいて、
   前記会議スコアを補正する、請求項２または請求項４に記載の会議生産性可視化装置。
8. 前記貢献度算出部は、貢献度を各出席者の発言率を設定し、
   前記挙動解析部の解析結果から、
   ある出席者に対して、他の出席者がうなずいたか否か、またはおよび他の出席者の笑顔度に基づいて、
   前記貢献度を補正する、請求項３または請求項５または請求項６に記載の会議生産性可視化装置。
9. 前記貢献度算出部は、
   前記挙動解析部の解析結果を参照して、
   ある出席者に対して、他の出席者が注視度に基づいて、
   前記貢献度を補正する、請求項２または請求項７に記載の会議生産性可視化装置。
10. 前記会議生産性可視化部は、
    出席者毎、あるいは会議毎、あるいは出席者の属性毎、あるいは会議の詳細毎に、個人会議時間またはおよび個人スコアを合算し、合算結果をグラフ化して表示する、
    請求項１ないし請求項９いずれかに記載の会議生産性可視化装置。
11. 画像から会議の生産性を可視化する会議生産性可視化方法であって、
    前記画像に基づいて、会議の出席者を特定し、ある出席者が発言している際の、他の出席者の挙動を解析するステップと、
    各出席者の会議への出席時間を個人会議時間として算出し、全出席者の個人会議時間の総和から会議時間を算出するステップと、
    前記挙動の解析結果および算出した会議時間に基づいて、会議の生産性を評価する会議スコアを算出するステップと、
    前記挙動の解析結果に基づいて、各出席者の会議への貢献度を算出するステップと、
    算出した会議スコアおよび貢献度に基づいて、個人スコアを算出するステップと、
    算出した会議スコアまたはおよび個人スコアを図示するステップと、
    を備える、会議生産性可視化方法。
12. 画像から会議の生産性を可視化する会議生産性可視化装置によって実行されるプログラムであって、
    前記画像に基づいて、会議の出席者を特定し、ある出席者が発言している際の、他の出席者の挙動を解析する挙動解析機能と、
    各出席者の会議への出席時間を個人会議時間として算出し、全出席者の個人会議時間の総和から会議時間を算出する会議時間算出機能と、
    前記挙動解析機能における解析結果および算出した会議時間に基づいて、会議の生産性を評価する会議スコアを算出する会議スコア算出機能と、
    前記挙動解析機能における解析結果に基づいて、各出席者の会議への貢献度を算出する貢献度算出機能と、
    算出した会議スコアおよび貢献度に基づいて、個人スコアを算出する個人スコア算出機能と、
    算出した会議スコアまたはおよび個人スコアを図示する会議生産性可視化機能と、
    をコンピュータに実現させる、会議生産性可視化プログラム。