JP2012113442A - 会議分析システム及び会議分析方法並びにそのプログラム - Google Patents

会議分析システム及び会議分析方法並びにそのプログラム Download PDF

Info

Publication number
JP2012113442A
JP2012113442A JP2010260513A JP2010260513A JP2012113442A JP 2012113442 A JP2012113442 A JP 2012113442A JP 2010260513 A JP2010260513 A JP 2010260513A JP 2010260513 A JP2010260513 A JP 2010260513A JP 2012113442 A JP2012113442 A JP 2012113442A
Authority
JP
Japan
Prior art keywords
participant
utterance
conference
unit
degree
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2010260513A
Other languages
English (en)
Inventor
Kazue Kobayashi
和恵 小林
Naomi Toda
直美 戸田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Comware Corp
Original Assignee
NTT Comware Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Comware Corp filed Critical NTT Comware Corp
Priority to JP2010260513A priority Critical patent/JP2012113442A/ja
Publication of JP2012113442A publication Critical patent/JP2012113442A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Transfer Between Computers (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】音量センサ機能と加速度センサ機能を有する簡易なセンサ装置のみを用いて会議参加者の分析、会議全体の分析を自動的に行うことができる会議分析システムを提供する。
【解決手段】会議において、会議に参加する参加者の音声の音量を取得し、会議に参加する参加者の加速度を取得する。また、取得した音量に基づいて、発話した参加者を前記会議中における単位時間ごとに一人ずつ特定し、参加者それぞれの会議中における発話回数と発話時間を算出する。そして、参加者それぞれの会議中におけるエネルギーを加速度に基づいて算出し、発話回数と、発話時間と、エネルギーの少なくとも何れか1つまたは複数からなる参加者パラメータと、参加者パラメータそれぞれの重み係数とに基づいて、参加者それぞれの、会議における参加態度を算出する。
【選択図】図1

Description

本発明は、会議における参加者の態度や、会議全体の分析を行う会議分析システム及び会議分析方法並びにそのプログラムに関する。
音声や映像などの複数の指標を用いて、会議の盛り上がりやリーダが誰であるかなどの分析する技術が特許文献1に開示されている。当該技術においては、クライアント端末が、会議参加者の音声データと映像データを加算して、当該会議参加者の積極度を求め、これにより、音声や映像にノイズ等が含まれている場合であっても、これらが平滑化されて総合的に精度良く積極度を求める技術である。また特許文献1の技術は、他のクライアント端末との間で積極度データを互いに送受信することにより、遠隔地との間でも会議の盛り上がり具合などの進行状況お相互に把握することのできる技術である。
特開2009−232054号公報
ところで、上述の特許文献1の技術では、コンピュータ通信を利用した遠隔会議での利用を想定しているが、実空間での通常の会議にも適用できる。例えば、過去に参加した会議や、不参加だった会議の分析に利用することができる。しかしながら、上述の特許文献1の技術では、会議におけるセンサデータから算出した推測データを可視化したに留まり、会議の盛り上がりやリーダの抽出等の分析は人が可視化データを見ることによって行わなければならない。また、映像撮像デバイスを予め設置する必要があるという制約がある。
そこでこの発明は、上述の課題を解決することのできる会議分析システム及び会議分析方法並びにそのプログラムを提供することを目的としている。
上記目的を達成するために、本発明は、会議において、前記会議に参加する参加者の音声の音量を取得する音量取得部と、前記会議に参加する参加者の加速度を取得する加速度取得部と、前記音量に基づいて、発話した参加者を前記会議中における単位時間ごとに一人ずつ特定する話者特定部と、前記参加者それぞれの前記会議中における発話回数を、前記単位時間毎に特定された前記発話した参加者に基づいて算出する発話回数算出部と、前記参加者それぞれの前記会議中における発話時間を、前記参加者が発話したと特定された単位時間の前記会議中における回数に基づいて算出する発話時間算出部と、前記参加者それぞれの前記会議中におけるエネルギーを前記加速度に基づいて算出するエネルギー算出部と、前記発話回数と、前記発話時間と、前記エネルギーの少なくとも何れか1つまたは複数からなる参加者パラメータと、参加者パラメータそれぞれの重み係数とに基づいて、前記参加者それぞれの、前記会議における説得度、前記会議において他の参加者に与える影響を示す与影響度、前記会議を率いるリーダ度、前記会議においての活性度、の何れか1つまたは複数を示す参加態度を算出する参加態度算出部と、を備えることを特徴とする会議分析システムである。
また本発明は、上述の会議分析システムにおいて、前記加速度の垂直成分を算出する加速度垂直成分算出部と、を備え、前記参加態度算出部は、少なくとも前記加速度垂直成分に基づいて、前記参加者が他の参加者の発話の傾聴度をさらに示す前記参加態度を算出することを特徴とする。
また本発明は、上述の会議分析システムにおいて、前記単位時間の第1の所定の倍数である発話交代元参加者の特定に要する発話交代元判定時間以上、発話が無い場合に、その後に発話した最初の参加者を発話交代元参加者の候補と判定し、かつ、当該発話交代元参加者の候補の発話から、前記発話交代元判定時間未満の時間であって前記単位時間の第2の所定の倍数である発話交代先参加者の特定に要する発話交代先判定時間以内で、次に発話した前記発話交代元参加者の候補とは異なる参加者を検出した場合には、前記発話交代元参加者の候補を、発話交代元参加者と判定し、さらに、前記会議において前記発話交代元参加者と判定された発話交代元回数を算出する発話交代元回数算出部と、前記発話交代元参加者の発話から、前記発話交代元判定時間未満の時間であって前記単位時間の第2の所定の倍数である発話交代先参加者の特定に要する発話交代先判定時間以内で、次に発話した前記発話交代元参加者とは異なる参加者を発話交代先参加者と判定し、前記会議において前記発話交代先参加者と判定された発話交代先回数を算出する発話交代先回数算出部と、前記参加態度算出部は、前記参加者それぞれの前記与影響度と、前記リーダ度と、前記活性度の何れかの参加態度を算出する際に、対応する参加者の前記発話交代元回数をさらに用いるか、さらに前記発話交代先回数と、前記加速度の垂直成分とを用いて、前記会議において他の参加者から受ける影響を示す前記参加者それぞれの受影響度と、前記活性度を算出するか、の何れか一方または両方を行うことを特徴とする。
また本発明は、上述の会議分析システムにおいて、前記参加者それぞれについて算出された前記リーダのうち、所定の閾値を超えるリーダ度の有無を判定し、前記所定の値を超えるリーダ度がある場合には前記会議が講演型であると判定し、前記所定の値を超えるリーダ度がない場合には前記会議が議論型であると判定する会議パターン判定部と、前記リーダ度の最も高い参加者をリーダとして特定するリーダ特定部と、前記会議が、前記講演型か前記議論型の何れであるかの情報、前記リーダとして特定した参加者の情報、前記リーダ度の前記参加者ごとの情報、前記与影響度および前記受影響度の前記参加者ごとの情報、の何れか一つまたは複数を表示する会議分析結果表示部と、を備えることを特徴とする。
また本発明は、上述の会議分析システムにおいて、前記参加者それぞれについての参加態度を表示する参加態度表示部と、を備えることを特徴とする。
また本発明は、会議分析システムにおける会議分析方法であって、音量取得部が、会議において、前記会議に参加する参加者の音声の音量を取得し、加速度取得部が、前記会議に参加する参加者の加速度を取得し、話者特定部が、前記音量に基づいて、発話した参加者を前記会議中における単位時間ごとに一人ずつ特定し、発話回数算出部が、前記参加者それぞれの前記会議中における発話回数を、前記単位時間毎に特定された前記発話した参加者に基づいて算出し、発話時間算出部が、前記参加者それぞれの前記会議中における発話時間を、前記参加者が発話したと特定された単位時間の前記会議中における回数に基づいて算出し、エネルギー算出部が、前記参加者それぞれの前記会議中におけるエネルギーを前記加速度に基づいて算出し、参加態度算出部が、前記発話回数と、前記発話時間と、前記エネルギーの少なくとも何れか1つまたは複数からなる参加者パラメータと、参加者パラメータそれぞれの重み係数とに基づいて、前記参加者それぞれの、前記会議における説得度、前記会議において他の参加者に与える影響を示す与影響度、前記会議を率いるリーダ度、前記会議においての活性度、の何れか1つまたは複数を示す参加態度を算出することを特徴とする会議分析方法である。
また本発明は、会議分析システムのコンピュータを、会議において、前記会議に参加する参加者の音声の音量を取得する音量取得手段、前記会議に参加する参加者の加速度を取得する加速度取得手段、前記音量に基づいて、発話した参加者を前記会議中における単位時間ごとに一人ずつ特定する話者特定手段、前記参加者それぞれの前記会議中における発話回数を、前記単位時間毎に特定された前記発話した参加者に基づいて算出する発話回数算出手段、前記参加者それぞれの前記会議中における発話時間を、前記参加者が発話したと特定された単位時間の前記会議中における回数に基づいて算出する発話時間算出手段、前記参加者それぞれの前記会議中におけるエネルギーを前記加速度に基づいて算出するエネルギー算出手段、前記発話回数と、前記発話時間と、前記エネルギーの少なくとも何れか1つまたは複数からなる参加者パラメータと、参加者パラメータそれぞれの重み係数とに基づいて、前記参加者それぞれの、前記会議における説得度、前記会議において他の参加者に与える影響を示す与影響度、前記会議を率いるリーダ度、前記会議においての活性度、の何れか1つまたは複数を示す参加態度を算出する参加態度算出手段、として機能させることを特徴とするプログラムである。
本発明によれば、音量センサ機能と加速度センサ機能を有する簡易なセンサ装置のみを用いて、会議参加者の分析および、会議全体の分析を自動的に行うことができる。
会議分析システムの構成を示すブロック図である。 会議分析システム1の処理フローを示す図である。 発話した参加者を単位時間ごとに特定するための処理概要を示す図である。 参加者パラメータの算出処理の概要を示す図である。 発話交代元と発話交代先を特定する処理の概略を示す図である。 発会議の活性度の算出概要を示す図である。 会議分析結果の画面例を示す第1の図である。 参加態度算出結果の画面例を示す図である。 会議分析結果の画面例を示す第2の図である。 センサデータの例を示す図である。 参加者パラメータのデータ例を示す図である。
以下、本発明の一実施形態による会議分析システムを図面を参照して説明する。
図1は同実施形態による会議分析システムの構成を示すブロック図である。
この図において、符号1は会議分析システムである。当該会議分析システム1は、会議に参加する複数の参加者の携帯するセンサ装置2、および、会議中の音声を録音する音声録音装置3と、無線通信を介して接続される。なお、会議分析システム1は無線基地局と通信ネットワークを介して接続され、当該無線基地局とセンサ装置2や音声録音装置3が無線通信を行い、これにより、会議分析システム1とセンサ装置2および音声録音装置3とが通信接続を行うようにしてもよい。会議分析システム1は、例えば会議が行われる部屋などに設置されている。
また、センサ装置2は、加速度センサと音量センサとを備えており、センサ装置2に予め設定された単位時間毎に、加速度センサが加速度を取得し、また音量センサが会議中の音声の音量である音量データを取得する。そして、センサ装置2は取得した所定の時間毎の加速度と音量データとを会議分析システム1へ送信する。または、センサ装置2は、取得した加速度データと音量データとをメモリに記録しておき、会議終了時にユーザの送信操作に基づいて加速度データと音量データとを会議分析システム1へ送信するようにしてもよい。または、センサ装置2を会議分析システム1の接続部へ接続して、センサ装置2内のメモリに記録された加速度データと音量データとを会議分析システムのメモリにコピーしてもよいし、加速度データと音量データの記録されたセンサ装置2に挿入されていたメモリカードを会議分析システム1へ挿入することにより、会議分析システム1がメモリカードに記録されているデータを読めるようにしてもよい。
また、音声録音装置3は、会議中の音声を録音し、その音声データを会議分析システム1へ送信する。当該音声データは、センサ装置2の音量センサで取得される音量データとは異なり、音量データが音量のレベルを示すデータであるのに対し、音声データは会議中に参加者から発せられた音声の再生用のデータである。当該音声データについても、音量データと同様に、音声録音装置3が、取得した音声データをメモリに記録しておき、会議終了時にユーザの送信操作に基づいて音声データを会議分析システム1へ送信するようにしてもよい。または、音声録音装置3を会議分析システム1の接続部へ接続して、音声録音装置3内のメモリに記録された音声データを会議分析システムのメモリにコピーしてもよいし、音声データの記録された音声録音装置3に挿入されていたメモリカードを会議分析システム1へ挿入することにより、会議分析システム1がメモリカードに記録されている音声データを読めるようにしてもよい。
そして、本実施形態による会議分析システム1は、通信処理部101、音量取得部102、加速度取得部103、センサデータ記憶部104、話者特定部105、発話・動作データ記憶部106、加速度垂直成分算出部107、発話回数算出部108、発話時間算出部109、エネルギー算出部110、発話交代元回数算出部111、発話交代先回数算出部112、参加態度算出部113、参加態度記憶部114、会議パターン判定部115、リーダ特定部116、会議分析結果表示部117、参加態度表示部118、音声データ取得部119、音声データ記憶部120、音声データ再生部121、会議活性度算出部122の各記憶部や処理部を有している。
ここで、通信処理部101は、センサ装置2から無線通信により送信されたデータを受信する処理部である。
また、音量取得部102は、通信処理部101で受信したデータのうち音量データを取得してセンサデータ記憶部104に記録する処理部である。
また、加速度取得部103は、通信処理部101で受信したデータのうち加速度データを取得してセンサデータ記憶部104に記録する処理部である。
また、センサデータ記憶部104は、音量データと加速度データとを記憶する記憶部である。
また、話者特定部105は、発話した参加者を会議中における単位時間ごとに一人ずつ特定する処理部である。
また、発話・動作データ記憶部106は、各処理部の算出したデータである参加者パラメータなどを記憶する記憶部である。
また、加速度垂直成分算出部107は、加速度の垂直成分を算出する処理部である。
また、発話回数算出部108は、参加者それぞれの会議中における発話回数を、単位時間毎に特定された発話した参加者に基づいて算出する処理部である。
また、発話時間算出部109は、参加者それぞれの会議中における発話時間を、参加者が発話したと特定された単位時間の前記会議中における回数に基づいて算出する処理部である。
また、エネルギー算出部110は、参加者それぞれの会議中におけるエネルギーを加速度に基づいて算出する処理部である。
また、発話交代元回数算出部111は、単位時間の第1の所定の倍数である発話交代元参加者の特定に要する発話交代元判定時間以上、発話が無い場合に、その後に発話した最初の参加者を発話交代元参加者の候補と判定し、かつ、発話交代元参加者の候補の発話から、発話交代元判定時間未満の時間であって単位時間の第2の所定の倍数(0≦第1の所定の倍数<第2の所定の倍数)である発話交代先参加者の特定に要する発話交代先判定時間以内で、次に発話した発話交代元参加者の候補とは異なる参加者を検出した場合には、その発話交代元参加者の候補を、発話交代元参加者と判定し、さらに、会議において発話交代元参加者と判定された発話交代元回数を算出する処理部である。
また、発話交代先回数算出部112は、発話交代元参加者の発話から、単位時間の第2の所定の倍数である発話交代先参加者の特定に要する発話交代先判定時間以内で、発話交代元参加者とは異なる次に発話した参加者を発話交代先参加者と判定し、会議において発話交代先参加者と判定された発話交代先回数を算出する処理部である。
また、参加態度算出部113は、参加者それぞれの参加者パラメータの何れか1つまたは複数に基づいて、会議における説得度、会議において他の参加者に与える影響を示す与影響度、会議を率いるリーダ度、会議においての活性度、参加者が他の参加者の発話の傾聴度、会議において他の参加者から受ける影響を示す受影響度、などの何れか1つまたは複数を示す参加態度を算出する処理部である。
参加態度記憶部114は、参加態度算出部113の算出した情報を記憶する記憶部である。
また、会議パターン判定部115は、参加者それぞれについて算出されたリーダのうち、所定の閾値を超えるリーダ度の有無を判定し、所定の値を超えるリーダ度がある場合には会議が講演型であると判定し、所定の値を超えるリーダ度がない場合には会議が議論型であると判定する処理部である。
リーダ特定部116は、リーダ度の最も高い参加者をリーダとして特定する処理部である。
また、会議分析結果表示部117は、会議が、講演型か議論型の何れであるかの情報、リーダとして特定した参加者の情報、リーダ度の参加者ごとの情報、与影響度および受影響度の参加者ごとの情報、の何れか一つまたは複数を表示する処理部である。
また、参加態度表示部118は、参加者それぞれについての参加態度を表示する処理部である。
また、音声データ取得部119は音声録音装置3から受信した音声データを取得する処理部である。
また、音声データ記憶部120は音声データを記憶する記憶部である。
また、音声データ再生部121は音声データ記憶部120に記録されている音声データを再生する処理部である。
そして、上述のような構成を有することにより、会議分析システム1は、会議において、会議の参加者の分析及び、会議分析を自動で行う。
図2は、会議分析システム1の処理フローを示す図である。
図3は、発話した参加者を単位時間ごとに特定するための処理の概要を示す図である。
次に本実施形態による会議分析システム1の処理フローについて順を追って説明する。
まず、会議分析システム1において、通信処理部101が会議の終了後に、各参加者が携帯するセンサ装置2より、加速度データ、音量データ、センサ装置IDを格納したセンサデータを受信する(ステップS101)。なお、図10にセンサデータの例を示す。すると音量取得部102は、通信処理部101の受信したセンサデータから音量データとセンサ装置IDを読取り、それらを対応付けてセンサデータ記憶部104へ登録する。また、加速度取得部103は、通信処理部101の受信したセンサデータから加速度データとセンサ装置IDを読取り、それらを対応付けてセンサデータ記憶部104へ登録する。なお、センサ装置IDは会議に参加した参加者を一意に特定するため参加者を特定するIDでもある。
また、会議分析システム1の音声データ取得部119は、通信処理部101を介して音声録音装置3で録音された会議中の音声データを取得する。そして、音声データ取得部119は取得した音声データを音声データ記憶部120へ記録する。
ここで、音量データには、センサ装置2が音声の音量を取得する際に利用するセンシング単位時間Trごとに、音声の音量値が格納されている。そして、会議分析システム1のプログラムを調整する担当者は、センシング単位時間Tr×N(Nは自然数)で表される時間であって、会議分析システム1が音量から人物を特定するための時間である人物特定単位時間Tnを決定するための当該Nの値を、音声録音装置3から取得した音声データの所定箇所の音声を人物特定単位時間Tnの間、実際に聞くことにより予め推定する。例えば、音声データの開始から人物特定単位時間Tnごとに時間を計り、それぞれの人物特定単位時間Tnにおいて発話した参加者を推定する。
一方、会議分析システム1のプログラムを調整する担当者の指示入力に基づいて、話者特定部105は、センサ装置2から取得した音量データの開始から人物特定単位時間Tnごとに当該音量データに格納されている音量を解析し、各人物特定単位時間Tnにおいて発話した参加者に対応するセンサ装置IDを特定する。具体的には、話者特定部105は、各センサ装置2の音量データ内の人物特定単位時間Tnにおけるセンシング単位時間Trそれぞれについて音量の値を比較し、複数のセンサ装置2の中で最も音量の大きいと判定した回数の多いセンサ装置2のIDを、その人物特定単位時間Tnにおいて発話した参加者に対応するセンサ装置2のIDとして特定する。そして、話者特定部105は、各人物特定単位時間Tnごとに特定したセンサ装置2のIDを、例えばモニタ等に表示する。
そして、会議分析システム1のプログラムを調整する担当者は、自身で推定した人物特定単位時間Tnごとの発話した参加者と、会議分析システム1の話者特定部105によって出力表示された、人物特定単位時間Tnごとの発話した参加者に対応するセンサ装置2のIDとを比較して、幾つの人物特定単位時間Tnについて参加者とそれに対応するセンサ装置2のIDが一致しているかを判定する。そして、人物特定単位時間Tn(Tr×N)を定めるNの値を変更して、上記の判定を繰り返す。
そして、会議分析システム1のプログラムを調整する担当者は、自身で推定した人物特定単位時間Tnごとの発話した参加者と、会議分析システム1の話者特定部105によって出力表示された、人物特定単位時間Tnごとの発話した参加者に対応するセンサ装置2のIDとの比較において、最も一致度の高い場合のNを特定する。そして、会議分析システム1のプログラムを調整する担当者は、特定したNの値を、会議分析システム1に登録する。この値は会議分析システム1内のメモリ等に記録される。そして、以降、会議分析システム1の話者特定部105は、特定されたNの値による人物特定単位時間T0を用いて、当該人物特定単位時間T0ごとに発話した参加者の特定の処理を行う。
なお、本実施形態においてセンサ装置2はストラップによって参加者の首にかけられるものであり、参加者のうなずく動作によって垂直方向の加速度を検出し、また参加者が身振り手振りで移動することにより、その加速度を検出する。
次に、会議分析システム1は、例えば分析処理の開始指示などの処理開始の契機となる情報を、自システムに接続されたキーボードやマウス等のユーザインタフェースなどから受け付けると、話者特定部105が、発話した参加者を会議中における単位時間ごとに一人ずつ特定する処理を開始する(ステップS102)。当該処理においては、まず、話者特定部105が、センサデータ記憶部104より、全てのセンサ装置IDに対応付けられている音量データを読み取る。
会議分析システム1の話者特定部105は、会議分析システム1のプログラムを調整する担当者によってNが特定されたことの指示をユーザインタフェースなどから受けた後、当該Nによって定まる人物特定単位時間T0ごとに推定した発話した参加者のセンサ装置IDを、人物特定単位時間T0の順に並べて、発話・動作データ記憶部106に登録する。これにより、人物特定単位時間T0ごとに発話した参加者を特定する話者特定データが、発話・動作データ記憶部106に登録される。
図3においては、人物特定単位時間T0(=Tr×N)のNの値が“7”である場合の例を示している。そして、会議分析システム1の話者特定部105は、最初の人物特定単位時間T0において、センサ装置ID=Aの参加者が最も大きい音量で発話した回数が6回、センサ装置ID=Bの参加者が最も大きい音量で発話した回数が3回、センサ装置ID=Cの参加者が最も大きい音量で発話した回数が4回であることを判定し、これにより、最も大きい音量で発話した回数の最も多い参加者のセンサ装置ID=Aを、当該人物特定単位時間T0において発話した参加者のセンサ装置IDとして特定することを示している。なお、本実施形態においては、人物特定単位時間T0の中で最も多く発話した参加者のセンサ装置IDが複数検出された場合には、最もセンサ装置IDの番号が若いものを、その時間において発話した参加者のセンサ装置IDとして特定する。
図4は、参加者パラメータの算出処理の概要を示す図である。
人物特定単位時間T0ごとの、発話した参加者の特定の処理が完了すると、次に、発話回数算出部108が、参加者パラメータの一つである、参加者それぞれの会議中における発話回数aを、人物特定単位時間T0毎に特定された発話した参加者に基づいて算出する(ステップS103)。具体的には、発話回数算出部108は、発話・動作データ記憶部106より、人物特定単位時間T0ごとに発話した参加者を示す話者特定データを読み取る。例えば、当該話者特定データは、音量データの先頭の人物特定単位時間T0からの当該人物特定単位時間T0の順番を示す番号と、その人物特定単位時間T0において発話した参加者の携帯するセンサ装置2のIDが対応付けられて登録されているものとする。このような場合、発話回数算出部108は、音量データから、最も若い番号のセンサ装置IDに対応付けられて記録されている人物特定単位時間T0の順番を示す番号を抽出する。そして、その番号が1つ出現する場合、または連続して出現する場合、のそれぞれについて発話回数1回とカウントし、その合計の発話回数aを算出する。そして、次に若いセンサ装置2のIDが音量データに格納されているかを判定し、ある場合には、そのセンサ装置2のIDの参加者についての発話回数aを同様に算出する。発話回数算出部108は、全てのセンサ装置2のIDと、そのIDが示す参加者についての発話回数aとを対応付けて発話回数データとして発話・動作データ記憶部106に登録する。
なお、図4においては、IDがAである当該センサ装置2を有する参加者Aが会議において発話回数3回、IDがBであるセンサ装置2を有する参加者Bが会議において発話回数2回、IDがCであるセンサ装置2を有する参加者Cが会議において発話回数2回である場合の例を示している。
発話回数aの算出が完了すると、次に、発話時間算出部109が、参加者それぞれの会議における発話時間bを算出する(ステップS104)。具体的には、発話時間算出部109は、発話・動作データ記憶部106より、話者特定データを読取り、人物特定単位時間T0の先頭からの番号と、その番号の人物特定単位時間T0において発話した参加者を特定するセンサ装置2のIDと、の対応関係の中から、最も若いセンサ装置2のIDに対応付けられて記録されている人物特定単位時間T0の番号の数を特定する。そして、その数に、人物特定単位時間T0の時間を乗算し、当該センサ装置2のIDで示される参加者の発話時間bを算出する。また、発話時間算出部109は、次に若いセンサ装置2のIDが音量データに格納されているかを判定し、ある場合には、そのセンサ装置2のIDの参加者についての発話時間bを同様に算出する。発話時間算出部109は、全てのセンサ装置2のIDと、そのIDが示す参加者についての発話時間bとを対応付けて発話時間データとして発話・動作データ記憶部106に登録する。
なお、図4においては、IDがAであるセンサ装置2を有する参加者Aが会議において7つの人物特定単位時間T0で発話したことにより、発話時間bが7×T0時間であり、また、IDがBであるセンサ装置2を有する参加者Bが会議において4つの人物特定単位時間T0で発話したことにより、発話時間bが4×T0時間であり、また、IDがCであるセンサ装置2を有する参加者Cが会議において3つの人物特定単位時間T0で発話したことにより、発話時間bが3×T0時間である場合の例を示している。
発話時間bの算出が完了すると、次に、エネルギー算出部110が、参加者それぞれの会議中でのエネルギーcを算出する(ステップS105)。本実施形態において当該エネルギーcは、参加者が会議において移動した際の加速度に基づいて算出する。加速度が大きい場合には身振り手振りで会議に参加していることが高いと判断されるため、エネルギーcが高い参加者について動作量が高いと判断できる。具体的には、エネルギー算出部110は、センサデータ記憶部104から加速度データを読み取る。当該加速度データには、センシング単位時間Tr毎の加速度(空間座標X,Y,Z3軸の各加速度)が、参加者を示すセンサ装置2のIDに対応付けられて記録されている。そして、エネルギー算出部110は、最も若い参加者のセンサ装置IDが示す参加者のエネルギーcを、当該参加者のセンサ装置2のIDに対応付けられて加速度データに格納されている加速度に基づいて算出する。
例えば、加速度が示すX,Y,Zの3軸成分の合成ベクトルの大きさの平均値をエネルギーcとしてもよいし、閾値以上の加速度(X,Y,Zの3軸成分の合成ベクトルの大きさ)の平均をエネルギーcとしてもよい。なお参加者のエネルギーcの指標を示す値であれば、加速度を用いてどのような演算によってエネルギーcを算出しても良い。また、エネルギー算出部110は、次に若いセンサ装置2のIDが加速度データに格納されているかを判定し、ある場合には、そのセンサ装置2のIDの参加者についてのエネルギーcを同様に算出する。そして、エネルギー算出部110は、参加者を示すセンサ装置2のIDと、その参加者のエネルギーcの値とを対応付けたエネルギーデータを、発話・動作データ記憶部106に記録する。
エネルギーcの算出が完了すると、次に、加速度垂直成分算出部107が、参加者それぞれの会議中において移動した際の加速度垂直成分dを算出する(ステップS106)。具体的には、加速度垂直成分算出部107は、センサデータ記憶部104から加速度データを読み取る。そして加速度垂直成分算出部107は、最も若い参加者のセンサ装置IDに対応付けられて加速度データに記録されている参加者の加速度を読取り、その中から垂直成分(Z軸成分)の加速度を抽出する。また、加速度垂直成分算出部107は、次に若いセンサ装置2のIDが加速度データに格納されているかを判定し、ある場合には、そのセンサ装置2のIDの参加者についての加速度の垂直成分を抽出する。そして、加速度垂直成分算出部107は、参加者を示すセンサ装置2のIDと、その参加者の加速度垂直成分dとを対応付けた加速度垂直成分データを、発話・動作データ記憶部106に記録する。
図5は発話交代元と発話交代先を特定する処理の概略を示す図である。
また、加速度垂直成分dの算出処理が完了すると、次に、発話交代元回数算出部111が、参加者それぞれの会議中において発話交代元となって発話した回数を算出する(ステップS107)。ここで、発話交代元回数算出部111は、発話交代元参加者を判定するにあたり、人物特定単位時間T0の第1の所定の倍数である発話交代元参加者の特定に要する発話交代元判定時間T1以上、発話が無い場合に、その後に発話した最初の参加者を発話交代元参加者の候補と判定し、かつ、発話交代元参加者の候補の発話から、発話交代元判定時間未満の時間であって人物特定単位時間T0の第2の所定の倍数(0≦第1の所定の倍数<第2の所定の倍数)である発話交代先参加者の特定に要する発話交代先判定時間T2以内で、次に発話した発話交代元参加者の候補とは異なる参加者を検出した場合には、発話交代元参加者の候補と判定した参加者を、発話交代元参加者と判定する。
本実施形態において第1の所定の倍数は3とする。また第2の所定の倍数は2とする。つまり、T0×3で示される発話交代元判定時間T1以上、発話が無い場合に、その後に発話した最初の参加者を発話交代元参加者の候補と判定し、かつ、発話交代元参加者の候補の発話から、T0×2で示される発話交代先判定時間T2以内で、次に発話した発話交代元参加者の候補とは異なる参加者を検出した場合には、発話交代元参加者の候補と判定した参加者が発話交代元となる。
具体的には、発話交代元回数算出部111は、発話・動作データ記憶部106より、話者特定データを読取り、当該話者特定データにおける、人物特定単位時間T0の先頭からの番号と、その番号の人物特定単位時間T0において発話した参加者を特定するセンサ装置2のIDと、の対応関係の中から、センサ装置2のIDに対応付けられていない人物特定単位時間T0の番号を抽出する。そして、その番号が3つ(人物特定単位時間T0の第1の所定の倍数)以上連続して続くかどうかを順に判定していき、3つ以上続く場合(発話交代元判定時間T1以上発話が無い場合)にはセンサ装置2のIDに対応付けられていない人物特定単位時間T0の最後の番号を特定する。そして、当該センサ装置2のIDに対応付けられていない人物特定単位時間T0の最後の番号の、次の人物特定単位時間T0の番号に対応付けられて話者特定データに登録されているセンサ装置2のIDを抽出し、そのIDのセンサ装置2を携帯する参加者を発話交代元の候補として特定する。
次に発話交代元回数算出部111は、話者特定データにおいてセンサ装置2のIDに対応付けられていない人物特定単位時間T0の番号が3つ以上続く場合の最後の人物特定単位時間T0(発話交代元の候補が発話する前に発話の無い状態が人物特定単位時間T0×3以上続いた場合の最後の人物特定単位時間T0)の番号を取得する。そして、発話交代元回数算出部111は、当該取得した番号に対応する位置の人物特定単位時間T0の番号から昇順に(会議の流れに沿って順に)、話者特定データを走査し、人物特定単位時間T0に対応付けられて登録されているセンサ装置2のIDに変化があるかどうかを判定する。
そして、発話交代先回数算出部112は、
(i)ある特定のセンサ装置2のIDが続いた後、直後に他のセンサ装置2のIDに変化した場合、
(ii)ある特定のセンサ装置2のIDが続いた後、人物特定単位時間T0に対応付けられて登録されているセンサ装置2のIDが無い状態が発生し、当該IDが無い状態が発生した人物特定単位時間T0の番号から、次に異なるIDが出現した人物特定単位時間T0の番号までの数をカウントし、その数に人物特定単位時間T0を乗じることにより算出した時間が発話交代先判定時間T2(T0×2)以内である場合(発話交代先とする参加者がいると判定できる場合)、
のいずれかの場合に、話者特定データにおいてセンサ装置2のIDに対応付けられていない人物特定単位時間T0の番号が3つ以上続く場合の最後の人物特定単位時間T0の次の番号(発話交代元の候補となる参加者が発話を開始した人物特定単位時間T0のタイミングを示す番号)に対応付けられて登録されているIDのセンサ装置2を携帯する発話交代元の候補と特定された参加者を、発話交代元として特定する。
また発話交代元回数算出部111は、最初の発話交代元を特定した後、会議におけるその後の流れにおいて、センサ装置2のIDに対応付けられていない人物特定単位時間T0の番号が3つ以上続く場合があるかを判定し、ある場合には、再度、同様の発話交代元の特定の処理を繰り返す。
そして、発話交代元回数算出部111は、発話交代元の参加者のセンサ装置2のIDそれぞれについて、会議中で発話交代元と特定された回数eを算出し、センサ装置2のIDと、そのIDに対応する参加者が発話交代元の参加者として算出された回数eと、を対応付けた発話交代元データを発話・動作データ記憶部106に登録する。
さらに、発話交代元回数算出部111は、上記(i)と(ii)の条件が揃う場合における、センサ装置2のIDに対応付けられていない人物特定単位時間T0の番号が3つ以上続く場合の最後の人物特定単位時間T0の次の番号(発話交代元と特定した参加者が発話を開始した人物特定単位時間T0のタイミングを示す番号)を、発話交代元の参加者が発話したタイミングを示す発話交代元タイミングデータとして発話・動作データ記憶部106に登録する。
なお、図5においては、センサ装置2のIDがAである参加者Aが人物特定単位時間T0×3の間発話した後に、発話交代元判定時間T1(人物特定単位時間T0×3)以上会話がない状態が続き、その後に発話したセンサ装置2のIDがCである参加者Cの次に発話した参加者Bが、参加者Cの発話の最後から発話交代先判定時間T2(T0×2)以内で発話した場合に、参加者Cを発話交代元であると特定した場合の例を示している。
また全ての参加者について発話交代元となった回数eが算出されると、次に、発話交代先回数算出部112が、参加者それぞれの会議中において発話交代先となって発話した回数fを算出する(ステップS108)。ここで、発話交代先の参加者とは、人物特定単位時間T0の第2の所定の倍数である発話交代先参加者の特定に要する発話交代先判定時間T2時間(T2<T1)以内で、次に発話した発話交代元の参加者とは異なる参加者を示す。本実施形態において第2の所定の倍数は2とする。つまり、T0×2で示される発話交代先判定時間T2以内で、次に発話した発話交代元の参加者とは異なる参加者が発話交代先となる。
具体的には、例えば、発話交代先回数算出部112は、発話・動作データ記憶部106より、話者特定データと、発話交代元回数算出部111によって登録された発話交代元タイミングデータを読み取る。当該発話交代元タイミングデータには、上述したように、発話交代元と特定した参加者が発話を開始した人物特定単位時間T0のタイミングを示す人物特定単位時間T0の番号が格納されている。従って、発話交代先回数算出部112は、読み取った発話交代元タイミングデータから、一つ目の人物特定単位時間T0の次の番号を取得する。そして、発話交代先回数算出部112は、当該取得した番号に対応する位置の人物特定単位時間T0の番号から昇順に(会議の流れに沿って順に)、話者特定データを走査し、人物特定単位時間T0に対応付けられて登録されているセンサ装置2のIDに変化があるかどうかを判定する。つまり、上述の(i)と(ii)で示した処理と同様の処理を行う。
そして、発話交代先回数算出部112は、センサ装置2のIDに変化がある場合には、そのセンサ装置2のIDを発話交代先の参加者が携帯するセンサ装置2のIDとして特定する。例えば、人物特定単位時間T0の番号順に、センサ装置2のIDを示すCが、発話交代元の参加者のセンサ装置2のIDであると特定されている状態において、その発話交代元と特定された人物特定単位時間T0のタイミングから順に、C,C,B,Bと順に続いていた場合には、発話交代先判定時間T2時間以内で、次に発話した発話交代元の参加者とは異なる参加者のセンサ装置2のIDであるBを最初に検出するため、ID=Bが発話交代先の参加者のセンサ装置2のIDであり、またそのID=Bを検出したタイミングを発話交代先の参加者が発話したタイミングと特定することができる。
また、発話交代先回数算出部112は、人物特定単位時間T0に対応付けられて登録されているセンサ装置2のIDに変化があるかどうかの判定において、IDが続いた後、人物特定単位時間T0に対応付けられて登録されているセンサ装置2のIDが無い状態が続き、次に、異なるIDが出現した場合には、人物特定単位時間T0に対応付けられて登録されているセンサ装置2のIDが無い状態が発生した人物特定単位時間T0の番号から、次に異なるIDが出現した人物特定単位時間T0の番号までの数をカウントし、その数に人物特定単位時間T0を乗じることにより、発話が無くなってから次の発話者が発話するまでの時間を算出する。そしてその時間が発話交代先判定時間T2時間(T2<T1)以内であるかを判定し、発話交代先判定時間T2時間(T2<T1)以内であれば、IDが無い状態が続き、その後に出現した異なるセンサ装置2のIDを発話交代先の参加者が携帯するセンサ装置2のIDとして特定する。
なお、それ以外の状況の場合、例えば、発話が無くなってから次の発話者が発話するまでの時間が発話交代先判定時間T2時間(T2<T1)以内で無い場合や、IDが無い状態が続き、次にそのIDが無い状態となる直前に出現したIDと同じIDが出現した場合などには、発話交代先の参加者が携帯するセンサ装置2のIDとしては特定しない。ここで、発話交代先回数算出部112の処理においては、発話交代元回数算出部111における上記(i)と(ii)の処理を再度行うような説明を行っているが、発話交代元回数算出部111の上記(i)と(ii)の処理の結果を発話交代先回数算出部112が受け取って、発話交代先となる参加者の携帯するセンサ装置2のIDを特定するようにしてもよい。
そして、発話交代先回数算出部112は、発話交代先の参加者のセンサ装置2のIDが会議中に出現する回数を算出し、センサ装置2のIDと、そのIDに対応する参加者が発話交代先の参加者として算出された回数fと、を対応付けた発話交代先データを発話・動作データ記憶部106に登録する。
以上の処理により、会議分析システム1は、参加者パラメータである会議中の発話回数a、会議中の発話時間b、会議中のエネルギーc、会議中の加速度垂直成分d、会議中に発話交代元となった回数e、会議中に発話交代先となった回数fを、参加者を示すセンサ装置2のIDごとに算出し、発話・動作データ記憶部に登録する。なお、図11に参加者パラメータのデータ例を示す。
そして、参加者パラメータの全ての算出が完了すると、次に、参加態度算出部113が、会議における他者への説得度、会議における他者の発話に対する傾聴度、会議において他の参加者に与える影響を示す与影響度、会議において他の参加者から受ける影響を示す受影響度、会議を率いるリーダ度、会議における活性度、のうちの何れか1つまたは複数を示す参加態度を算出する(ステップS109)。なお、本実施形態においては、全ての参加態度を算出する。
ここで、参加態度算出部113は、発話・動作データ記憶部106に登録されている発話回数データを読み取る。そして、参加態度算出部113は、その発話回数データに格納されている、最も若いセンサ装置2のIDに対応付けられた発話回数aを読み取って、最も若いIDのセンサ装置2を携帯する参加者(偏差値対象参加者)の発話回数aの偏差値a’を算出する。当該偏差値は、会議において参加する複数の参加者の参加者パラメータそれぞれの数値によって求める。つまり、参加者パラメータの一つである発話回数aの場合、全ての参加者それぞれの発話回数aと、偏差値対象参加者の発話回数aとを用いて偏差値対象参加者の発話回数aの偏差値a’を求める。同様に、参加態度算出部113は、発話・動作データ記憶部106に登録されている発話時間データ、エネルギーデータ、加速度垂直成分データ、発話交代元データ、発話交代先データを読み取って、偏差値対象参加者の発話時間bの偏差値b’、エネルギーcの偏差値c’、加速度垂直成分dの偏差値d’、発話交代元回数eの偏差値e’、発話交代先回数の偏差値f’を算出する(図4の(b)表を参照)。そして、次に若いセンサ装置2のIDを携帯する参加者について参加者パラメータ全ての偏差値を算出したかを判定し、算出していない場合には、次に若いセンサ装置2のIDを携帯する参加者について参加者パラメータ全ての偏差値を算出する。
次に、参加態度算出部113は、参加者パラメータそれぞれの偏差値を用いて、参加態度である説得度、傾聴度、与影響度、受影響度、リーダ度、活性度の何れか1つまたは複数を算出する(図4の(c)表を参照)。
当該算出処理において参加態度算出部113は、
説得度=w1・a’+w2・b’+w3・c’
傾聴度=d’
与影響度=w4・説得度+w5・e’
受影響度=w6・傾聴度+w7・f’
リーダー度=w8・傾聴度+w9・与影響度
活性度=w10・与影響度+w11・受影響度
により各参加態度となる、説得度、傾聴度、与影響度、受影響度、リーダ度、活性度を算出する。なお、上記各参加態度の算出式において、a’は発話回数aの偏差値、b’は発話時間bの偏差値、c’はエネルギーcの偏差値、d’は加速度垂直成分dの偏差値、e’は発話交代元回数eの偏差値、f’は発話交代先回数fの偏差値である。またw1〜w11は重み係数である。
上記重み係数w1〜11は、w1+w2+w3=1,w4+w5=1,w6+w7=1,w8+w9=1,w10+w11=1が成り立つような値として設定される。また、上記重み係数w1〜11はそれぞれ、0≦w1≦1,0≦w2≦1,0≦w3<1,0≦w4<1,0<w5≦1,0≦w6<1,0<w7≦1,0<w8<1,0<w9<1,0<w10<1,0<w11<1の値をとる。
そして、参加態度算出部113は、全ての参加者についての各参加態度の値を算出すると、各参加者を示すセンサ装置2のIDと、当該IDによって特定される参加者の参加態度となる、説得度、傾聴度、与影響度、受影響度、リーダ度、活性度の値を対応付けて参加態度データとして、参加態度記憶部114へ登録する。
図6は会議の活性度の算出概要を示す図である。
次に参加態度算出部113において参加態度である説得度、傾聴度、与影響度、受影響度、リーダ度、活性度の算出が終了すると、会議活性度算出部122が、会議に参加した参加者の各参加態度(説得度、傾聴度、与影響度、受影響度、リーダ度、活性度)を用いて、会議全体としての、説得度、傾聴度、与影響度、受影響度、リーダ度、活性度を求める。会議全体としての、説得度、傾聴度、与影響度、受影響度、リーダ度、活性度を求める手法は、まず、会議活性度算出部122は、発話回数a、発話時間b、エネルギーc、加速度主直成分d、話者交代元回数e、話者交代先回数fのそれぞれについて、参加者全員の平均値を算出する。そして、会議活性度算出部122は、それら発話回数a、発話時間b、エネルギーc、加速度主直成分d、話者交代元回数e、話者交代先回数fの平均値が示す、複数の異なる会議で比べた際の偏差値を算出する。ここで、発話回数aの平均値の複数の会議における偏差値をa”、発話時間bの平均値の複数の会議における偏差値をb”、エネルギーcの平均値の複数の会議における偏差値をc”、加速度主直成分dの平均値の複数の会議における偏差値をd”、話者交代元回数eの平均値の複数の会議における偏差値をe”、話者交代先回数fの平均値の複数の会議における偏差値をf”とする。
そして、会議活性度算出部122は、
説得度=w1・a”+w2・b”+w3・c”
傾聴度=d”
与影響度=w4・説得度+w5・e”
受影響度=w6・傾聴度+w7・f”
を算出し、これにより会議全体の活性度を、「活性度=w10・与影響度+w11・受影響度」により算出する。
次に会議パターン判定部115が会議パターンを判定する(ステップS110)。当該会議パターンは、まず、各センサ装置2のIDに対応付けられて登録されているリーダ度を参加態度記憶部114から読取り、リーダ度が所定の値を超えているかを判定する。そしてリーダ度が所定の値を超えている場合には「講演型(一方向型)」、リーダ度が所定の値を超えているものがなければ、「議論型(双方向型)」と判定する。そして、会議パターン判定部115は、判定結果を会議分析結果表示部117へ出力する。
また、次に、リーダ特定部116が会議に参加する複数の参加者の中からリーダを特定する(ステップS111)。当該リーダの特定は、具体的には、リーダ特定部116が各センサ装置2のIDに対応付けられて登録されているリーダ度を参加態度記憶部114から読取り、リーダ度が最も高いセンサ装置2のIDを取得する。そして、そのIDを会議分析結果表示部117へ出力する。つまり、最もリーダ度の高いセンサ装置2のIDで特定される参加者がリーダであると判定することができる。なお、リーダ度が同一である場合には、番号の若いIDで示される参加者をリーダとして判定し、そのIDを会議分析結果表示部117へ出力する。
そして、会議分析結果表示部117は、会議パターンの情報と、リーダを示す参加者のセンサ装置2のIDと、会議活性度の情報と、を取得すると、それらの情報と、各参加者の活性度、与影響度、受影響度などの情報を参加者毎に表した会議分析結果の画面を生成して、当該会議分析結果の画面をモニタ等へ出力する(ステップS112)。
また、ユーザからの指示に基づいて、参加態度表示部118が参加態度記憶部114に登録されている各参加者のうち、指定された参加者の参加態度や、参加者全員の参加態度の情報を表す参加態度算出結果の画面を生成して、当該参加態度算出結果の画面をモニタ等へ出力する(ステップS113)。
図7は、会議分析結果の画面例を示す第1の図である。
この図が示すように、会議分析結果表示部117は、会議パターンが「講演型(一方向型)」である場合には、会議参加者に対応する各センサ装置2のIDに対応付けられて参加態度記憶部114に登録されているリーダ度を読取り、各センサ装置2のIDで示される参加者ごとにリーダ度に応じた色分けをして、擬似的な参加者を表す図形(図7においては円形で表示)として表示する。また、その参加者のうちリーダと特定された参加者の図形をセンサ装置2のIDに基づいて特定し、リーダであることを示す情報(図7においては星印)を表示する。また会議の活性度を文字によって表示する。
また、会議パターンが「議論型(双方向型)」である場合には、会議分析結果表示部117は、参加態度記憶部114より参加者それぞれの与影響度、受影響度を読み取る。そして、会議分析結果表示部117は、参加者を擬似的に表した図形を半分に分け、それら半分ずつの領域を、与影響度や受影響度の値に応じた色で表示する。
図8は、参加態度算出結果の画面例を示す図である。
この図が示すように、参加態度表示部118は、参加態度となる、説得度、傾聴度、与影響度、受影響度、リーダ度、活性度の各値をレーダチャートにより表示する。例えば、図8に示すように、能動的な参加態度を示す説得度と与影響度を左に、受動的な参加態度を示す傾聴度と受影響度を右に、会議における参加者の存在の強さを示す活性度やリーダ度を中央の上下に示されるように表示する。
図9は、会議分析結果の画面例を示す第2の図である。
会議分析結果表示部117は、図9のような図の他に、会議全体の流れとして、時間単位ごとの発話された音量の参加者一人あたりの平均や、時間単位ごとのエネルギーの参加者一人あたりの平均、その会議全体の流れにおいて任意の参加者が発話した位置などを表示するようにしてもよい。
また、図9で示すように、図7、図8で示した各結果が一つの画面で表示されるよう、会議分析結果表示部117と参加態度表示部118が協働して処理するようにしてもよい。
以上、本発明の実施形態について説明したが、上述の処理によれば、音量センサ機能と加速度センサ機能を有する簡易なセンサ装置のみを用いて、会議参加者の分析および、会議全体の分析を自動的に行うことができる。
また、上述の処理によれば、会議分析結果や参加態度の算出結果が表示されるため、会議の参加者は、会議に関するそれらの結果を見て会議を振り返り、自身についてリーダシップが取れていたか、発言が不足していなかったかなど、モチベーションの向上や反省・今後の改善を行うための切っ掛けを得ることができる。
なお、上述の会議分析システムは内部に、コンピュータシステムを有している。そして、上述した各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、CD−ROM、DVD−ROM、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
1・・・会議分析システム
2・・・センサ装置
3・・・音声録音装置
101・・・通信処理部
102・・・音量取得部
103・・・加速度取得部
104・・・センサデータ記憶部
105・・・話者特定部
106・・・発話・動作データ記憶部
107・・・加速度垂直成分算出部
108・・・発話回数算出部
109・・・発話時間算出部
110・・・エネルギー算出部
111・・・発話交代元回数算出部
112・・・発話交代先回数算出部
113・・・参加態度算出部
114・・・参加態度記憶部
115・・・会議パターン判定部
116・・・リーダ特定部
117・・・会議分析結果表示部
118・・・参加態度表示部
119・・・音声データ取得部
120・・・音声データ記憶部
121・・・音声データ再生部
122・・・会議活性度算出部

Claims (7)

  1. 会議において、前記会議に参加する参加者の音声の音量を取得する音量取得部と、
    前記会議に参加する参加者の加速度を取得する加速度取得部と、
    前記音量に基づいて、発話した参加者を前記会議中における単位時間ごとに一人ずつ特定する話者特定部と、
    前記参加者それぞれの前記会議中における発話回数を、前記単位時間毎に特定された前記発話した参加者に基づいて算出する発話回数算出部と、
    前記参加者それぞれの前記会議中における発話時間を、前記参加者が発話したと特定された単位時間の前記会議中における回数に基づいて算出する発話時間算出部と、
    前記参加者それぞれの前記会議中におけるエネルギーを前記加速度に基づいて算出するエネルギー算出部と、
    前記発話回数と、前記発話時間と、前記エネルギーの少なくとも何れか1つまたは複数からなる参加者パラメータと、参加者パラメータそれぞれの重み係数とに基づいて、前記参加者それぞれの、前記会議における説得度、前記会議において他の参加者に与える影響を示す与影響度、前記会議を率いるリーダ度、前記会議においての活性度、の何れか1つまたは複数を示す参加態度を算出する参加態度算出部と、
    を備えることを特徴とする会議分析システム。
  2. 前記加速度の垂直成分を算出する加速度垂直成分算出部と、を備え、
    前記参加態度算出部は、少なくとも前記加速度垂直成分に基づいて、前記参加者が他の参加者の発話の傾聴度をさらに示す前記参加態度を算出する
    ことを特徴とする請求項1に記載の会議分析システム。
  3. 前記単位時間の第1の所定の倍数である発話交代元参加者の特定に要する発話交代元判定時間以上、発話が無い場合に、その後に発話した最初の参加者を発話交代元参加者の候補と判定し、かつ、当該発話交代元参加者の候補の発話から、前記発話交代元判定時間未満の時間であって前記単位時間の第2の所定の倍数である発話交代先参加者の特定に要する発話交代先判定時間以内で、次に発話した前記発話交代元参加者の候補とは異なる参加者を検出した場合には、前記発話交代元参加者の候補を、発話交代元参加者と判定し、さらに、前記会議において前記発話交代元参加者と判定された発話交代元回数を算出する発話交代元回数算出部と、
    前記発話交代元参加者の発話から、前記発話交代元判定時間未満の時間であって前記単位時間の第2の所定の倍数である発話交代先参加者の特定に要する発話交代先判定時間以内で、次に発話した前記発話交代元参加者とは異なる参加者を発話交代先参加者と判定し、前記会議において前記発話交代先参加者と判定された発話交代先回数を算出する発話交代先回数算出部と、
    前記参加態度算出部は、
    前記参加者それぞれの前記与影響度と、前記リーダ度と、前記活性度の何れかの参加態度を算出する際に、対応する参加者の前記発話交代元回数をさらに用いるか、
    さらに前記発話交代先回数と、前記加速度の垂直成分とを用いて、前記会議において他の参加者から受ける影響を示す前記参加者それぞれの受影響度と、前記活性度を算出するか、
    の何れか一方または両方を行うことを特徴とする請求項2に記載の会議分析システム。
  4. 前記参加者それぞれについて算出された前記リーダのうち、所定の閾値を超えるリーダ度の有無を判定し、前記所定の値を超えるリーダ度がある場合には前記会議が講演型であると判定し、前記所定の値を超えるリーダ度がない場合には前記会議が議論型であると判定する会議パターン判定部と、
    前記リーダ度の最も高い参加者をリーダとして特定するリーダ特定部と、
    前記会議が、前記講演型か前記議論型の何れであるかの情報、前記リーダとして特定した参加者の情報、前記リーダ度の前記参加者ごとの情報、前記与影響度および前記受影響度の前記参加者ごとの情報、の何れか一つまたは複数を表示する会議分析結果表示部と、
    を備えることを特徴とする請求項3に記載の会議分析システム。
  5. 前記参加者それぞれについての参加態度を表示する参加態度表示部と、
    を備えることを特徴とする請求項1から請求項4の何れか一項に記載の会議分析システム。
  6. 会議分析システムにおける会議分析方法であって、
    音量取得部が、会議において、前記会議に参加する参加者の音声の音量を取得し、
    加速度取得部が、前記会議に参加する参加者の加速度を取得し、
    話者特定部が、前記音量に基づいて、発話した参加者を前記会議中における単位時間ごとに一人ずつ特定し、
    発話回数算出部が、前記参加者それぞれの前記会議中における発話回数を、前記単位時間毎に特定された前記発話した参加者に基づいて算出し、
    発話時間算出部が、前記参加者それぞれの前記会議中における発話時間を、前記参加者が発話したと特定された単位時間の前記会議中における回数に基づいて算出し、
    エネルギー算出部が、前記参加者それぞれの前記会議中におけるエネルギーを前記加速度に基づいて算出し、
    参加態度算出部が、前記発話回数と、前記発話時間と、前記エネルギーの少なくとも何れか1つまたは複数からなる参加者パラメータと、参加者パラメータそれぞれの重み係数とに基づいて、前記参加者それぞれの、前記会議における説得度、前記会議において他の参加者に与える影響を示す与影響度、前記会議を率いるリーダ度、前記会議においての活性度、の何れか1つまたは複数を示す参加態度を算出する
    ことを特徴とする会議分析方法。
  7. 会議分析システムのコンピュータを、
    会議において、前記会議に参加する参加者の音声の音量を取得する音量取得手段、
    前記会議に参加する参加者の加速度を取得する加速度取得手段、
    前記音量に基づいて、発話した参加者を前記会議中における単位時間ごとに一人ずつ特定する話者特定手段、
    前記参加者それぞれの前記会議中における発話回数を、前記単位時間毎に特定された前記発話した参加者に基づいて算出する発話回数算出手段、
    前記参加者それぞれの前記会議中における発話時間を、前記参加者が発話したと特定された単位時間の前記会議中における回数に基づいて算出する発話時間算出手段、
    前記参加者それぞれの前記会議中におけるエネルギーを前記加速度に基づいて算出するエネルギー算出手段、
    前記発話回数と、前記発話時間と、前記エネルギーの少なくとも何れか1つまたは複数からなる参加者パラメータと、参加者パラメータそれぞれの重み係数とに基づいて、前記参加者それぞれの、前記会議における説得度、前記会議において他の参加者に与える影響を示す与影響度、前記会議を率いるリーダ度、前記会議においての活性度、の何れか1つまたは複数を示す参加態度を算出する参加態度算出手段、
    として機能させることを特徴とするプログラム。
JP2010260513A 2010-11-22 2010-11-22 会議分析システム及び会議分析方法並びにそのプログラム Pending JP2012113442A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010260513A JP2012113442A (ja) 2010-11-22 2010-11-22 会議分析システム及び会議分析方法並びにそのプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010260513A JP2012113442A (ja) 2010-11-22 2010-11-22 会議分析システム及び会議分析方法並びにそのプログラム

Publications (1)

Publication Number Publication Date
JP2012113442A true JP2012113442A (ja) 2012-06-14

Family

ID=46497608

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010260513A Pending JP2012113442A (ja) 2010-11-22 2010-11-22 会議分析システム及び会議分析方法並びにそのプログラム

Country Status (1)

Country Link
JP (1) JP2012113442A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017161731A (ja) * 2016-03-09 2017-09-14 本田技研工業株式会社 会話解析装置、会話解析方法およびプログラム
JP2018073333A (ja) * 2016-11-04 2018-05-10 株式会社イトーキ 業務活動分析装置、業務活動分析方法、及びプログラム。
JP2021015390A (ja) * 2019-07-11 2021-02-12 Kddi株式会社 関連度推定装置及び関連度推定方法
CN114509157A (zh) * 2020-11-17 2022-05-17 丰田自动车株式会社 信息处理系统、信息处理方法以及程序

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009163431A (ja) * 2007-12-28 2009-07-23 Nec Corp コミュニケーション算定装置、会合関数算定装置、会合関数算定方法および会合関数算定用プログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009163431A (ja) * 2007-12-28 2009-07-23 Nec Corp コミュニケーション算定装置、会合関数算定装置、会合関数算定方法および会合関数算定用プログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CSNG201000584001; 齊賀 弘泰 HIROYASU SAIGA: '多人数会話におけるうなずきの会話制御としての機能分析 Function analysis of nodding for conversation' 情報処理学会研究報告 平成22年度▲1▼ [CD-ROM] , 20100615, p.1-8, 社団法人情報処理学会 *
JPN6013062068; 齊賀 弘泰 HIROYASU SAIGA: '多人数会話におけるうなずきの会話制御としての機能分析 Function analysis of nodding for conversation' 情報処理学会研究報告 平成22年度▲1▼ [CD-ROM] , 20100615, p.1-8, 社団法人情報処理学会 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017161731A (ja) * 2016-03-09 2017-09-14 本田技研工業株式会社 会話解析装置、会話解析方法およびプログラム
JP2018073333A (ja) * 2016-11-04 2018-05-10 株式会社イトーキ 業務活動分析装置、業務活動分析方法、及びプログラム。
JP2021015390A (ja) * 2019-07-11 2021-02-12 Kddi株式会社 関連度推定装置及び関連度推定方法
CN114509157A (zh) * 2020-11-17 2022-05-17 丰田自动车株式会社 信息处理系统、信息处理方法以及程序
CN114509157B (zh) * 2020-11-17 2024-04-05 丰田自动车株式会社 信息处理系统、信息处理方法以及程序

Similar Documents

Publication Publication Date Title
CN105793723B (zh) 使用移动声源的麦克风自定位
US10241990B2 (en) Gesture based annotations
US9626970B2 (en) Speaker identification using spatial information
WO2014192552A1 (ja) 表示制御装置、表示制御方法及びコンピュータプログラム
EP3276449A1 (en) Object recognition method and device in virtual reality communication, and virtual reality equipment
US20100092007A1 (en) Dynamic Switching of Microphone Inputs for Identification of a Direction of a Source of Speech Sounds
JP6817580B2 (ja) 情報処理方法、情報処理システム及び情報処理装置
JP4804801B2 (ja) 会話構造推定方法、プログラム、および記録媒体
JP2012211768A (ja) 音源定位装置
US20180054688A1 (en) Personal Audio Lifestyle Analytics and Behavior Modification Feedback
JP2018036690A (ja) 一対多コミュニケーションシステムおよびプログラム
JP2012113442A (ja) 会議分析システム及び会議分析方法並びにそのプログラム
JP2000097735A (ja) 対話と通信の計測及び検証
JP2017174346A (ja) 受付システムおよび受付方法
CN109271929A (zh) 检测方法和装置
US11996093B2 (en) Information processing apparatus and information processing method
CN110336957A (zh) 一种视频制作方法、装置、介质和电子设备
JP6545950B2 (ja) 推定装置、推定方法、およびプログラム
Dai et al. Group Interaction Analysis in Dynamic Context $^{\ast} $
CN112634879B (zh) 语音会议管理方法、装置、设备及介质
Ronzhin et al. A software system for the audiovisual monitoring of an intelligent meeting room in support of scientific and education activities
US20230353800A1 (en) Cheering support method, cheering support apparatus, and program
Chen et al. Speaker tracking and identifying based on indoor localization system and microphone array
JP2013110508A (ja) 会議装置、会議方法および会議プログラム
Inoue et al. Speaker diarization using eye-gaze information in multi-party conversations

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130220

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131217

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140422