JP2021072497A - 分析装置及びプログラム - Google Patents

Abstract

【課題】コミュニケーションにおいて発生した事象について、参加者にとって好適か否かを容易に判断できる分析装置及プログラムを提供する。【解決手段】複数人で実施される対話を分析する分析装置１であって、対話に参加する参加者を撮像する撮像装置によって撮像された動画像を取得する情報取得部１１と、取得された動画像に含まれる参加者の特徴点を抽出する特徴抽出部１３と、抽出された特徴点の位置と、予め定められた特徴点の位置との差分を経時的に算出する差分算出部１４と、算出された差分に基づいて、撮像された参加者の状態を経時的に判断する状態判断部１６と、判断された参加者の状態を出力する状態出力部１７と、を備える。【選択図】図２

Description

本発明は、分析装置及びプログラムに関する。

従来より、プレゼンテーション、ミーティング、面接等、他者とコミュニケーションをとることにより、問題解決、合意、参加者の活性化（内部活性）を得ること等が行われている。近年では、テレビ会議システムを用いるコミュニケーションも増加傾向にある。例えば、人物を認識して提供する画像を変更する会議システムが提供されている（例えば、特許文献１参照）。

特開２００７−６７９７２号公報

ところで、コミュニケーションにおいて、聞き手に対する話し手の影響について研究がなされている。例えば、言語情報以外の情報でのコミュニケーション（ノンバーバル・コミュニケーション）の重要性に注目が集まっている。言語情報以外の情報として、例えば、見た目、みだしなみ、しぐさ、表情、視線等の視覚情報と、声の質（高低）、速さ、大きさ、テンポ等の聴覚情報とがある。視覚情報及び聴覚情報により、聞き手の印象の９３％が決まることが提言されている。そこで、視覚情報及び聴覚情報の観点から、コミュニケーションを改善することができれば好ましい。

しかしながら、コミュニケーション中の参加者の状態について、定量化することができていなかった。そのため、コミュニケーション中に発生した事象に対して、好適な事象なのか改善すべき事象なのかを容易に判断することができなかった。

本発明は、コミュニケーションにおいて発生した事象について、参加者にとって好適か否かを容易に判断できる分析装置及びプログラムを提供することを目的とする。

本発明は、複数人で実施される対話を分析する分析装置であって、対話に参加する参加者を撮像する撮像装置によって撮像された動画像を取得する情報取得部と、取得された動画像に含まれる参加者の特徴点を抽出する特徴抽出部と、抽出された特徴点の位置と、予め定められた特徴点の位置との差分を経時的に算出する差分算出部と、算出された差分に基づいて、撮像された参加者の状態を経時的に判断する状態判断部と、判断された参加者の状態を出力する状態出力部と、を備える分析装置に関する。

また、前記状態判断部は、算出された差分に基づいて、撮像された参加者の集中度を経時的に判断する集中度判断部を備え、前記状態出力部は、撮像された参加者の集中度の変化を経時的に出力するのが好ましい。

また、前記集中度判断部は、集中度が所定範囲を外れる時刻を特定し、前記状態出力部は、特定された時刻を集中度の変化とともに出力するのが好ましい。

また、前記状態判断部は、算出された差分に基づいて、撮像された参加者の緊張度を判断する緊張度判断部を備え、前記状態出力部は、撮像された参加者の緊張度の変化を経時的に出力するのが好ましい。

また、前記緊張度判断部は、緊張度が所定範囲を外れる時刻を特定し、前記状態出力部は、特定された時刻を緊張度の変化とともに出力するのが好ましい。

また、前記情報取得部は、評価対象として参加者に含まれる対象者を撮像した動画像を取得する対象者側取得部を備え、前記状態判断部は、取得された対象者を撮像した動画像に基づいて、対象者の状態を経時的に判断するのが好ましい。

また、前記情報取得部は、参加者の音声が入力される音声入力装置に入力された音声を取得し、前記特徴抽出部は、入力された音声に対応する参加者の特徴点を抽出し、前記差分算出部は、抽出された特徴点の特徴量と、予め定められた特徴量との差分を算出し、前記状態判断部は、算出された差分に基づいて、入力された参加者の音声に対応する状態を経時的に判断するのが好ましい。

また、前記対象者側取得部は、評価対象として参加者に含まれる対象者の音声を取得し、前記状態判断部は、取得された対象者の音声に基づいて、対象者の状態を経時的に判断するのが好ましい。

また、前記特徴抽出部は、入力された音声に対応する参加者の発言内容を抽出し、前記状態判断部は、抽出された発言内容に基づいて、入力された参加者の音声に対応する状態を経時的に判断するのが好ましい。

また、分析装置は、入力された音声の異常を検知する異常検知部と、異常の検知に応じて警報を出力する警報出力部と、をさらに備えるのが好ましい。

また、本発明は、複数人で実施される対話を分析する分析装置であって、対話に参加する参加者の音声が入力される音声入力装置に入力された音声を取得する情報取得部と、取得された音声に含まれる参加者の特徴点を抽出する特徴抽出部と、抽出された特徴点の特徴量と、予め定められた特徴点の特徴量との差分を経時的に算出する差分算出部と、算出された差分に基づいて、撮像された参加者の状態を経時的に判断する状態判断部と、判断された参加者の状態を出力する状態出力部と、を備える分析装置に関する。

また、本発明は、複数人で実施される対話を分析する分析装置としてコンピュータを動作させるプログラムであって、前記コンピュータを、撮像装置によって撮像された対話に参加する参加者の動画像を取得する情報取得部、取得された動画像に含まれる参加者の特徴点を抽出する特徴抽出部、抽出された特徴点の位置と、予め定められた特徴点の位置との差分を経時的に算出する差分算出部、算出された差分に基づいて、撮像された参加者の状態を経時的に判断する状態判断部、判断された参加者の状態を出力する状態出力部、
として機能させるプログラムに関する。

本発明によれば、コミュニケーションにおいて発生した事象について、参加者にとって好適か否かを容易に判断できる分析装置及びプログラムを提供することができる。

本発明の一実施形態に係る分析装置を含む分析システムを示す概略構成図である。 一実施形態の分析装置を示すブロック図である。 一実施形態の分析装置の状態情報格納部に格納されている状態情報を示す概略図である。 一実施形態の状態出力部によって出力される内容を示す概略図である。 一実施形態の分析装置における処理の流れを示すフローチャートである。

以下、本発明の一実施形態に係る分析装置１及びプログラムについて、図１から図５を参照して説明する。
まず、本実施形態の分析装置１及びプログラムを説明するにあたり、分析対象となるコミュニケーションの概要について説明する。

コミュニケーションでは、相手から正しく話を引き出すことと、相手に対して話を伝えることが重要である。そのための指標として、「信頼」及び「尊敬」の概念を用いることで、コミュニケーションの質を分析することができる。例えば、「信頼」が築かれることにより、相手に安心感を与えることができる。これにより、相手にとって気兼ねなく話せる空間を形成することができる。また、「尊敬」が築かれることにより、相手は、自身の話をより本気で聞いてくれるようにすることができる。すなわち、「信頼」及び「尊敬」の構築は、双方の想いを伝達することに貢献する。特に、「信頼」及び「尊敬」の構築は、面接及び面談等の場において、相互理解が可能な空間を構築することに繋がる。

コミュニケーションでは、例えば、コミュニケーションに参加している参加者の緊張度の緩和（リラックス度）及び会話への集中が実現されるほど、より良いコミュニケーションであると定義することができる。コミュニケーションの一例として、評価者（面接者）及び評価対象者（候補者）の参加する面接がある。面接においては、対象者の緊張度合が低い程及び集中度合が高い程、評価者から対象者に対してより良いコミュニケーションが行われていると定義することができる。

ここで、対象者の評価者への信頼度合は、対象者からの非緊張度合（リラックス度合）で定義することができる。また。対象者の評価者への尊敬度合は、対象者の会話への集中度合として定義することできる。本実施形態の分析装置１及びプログラムは、対象者の緊張度合と、集中度合とを定量化することで、コミュニケーションにおいて発生した事象の好適か否かを判断可能にするものである。

本実施形態の分析装置１は、上記のように複数人で実施される対話を分析する装置である。本実施形態において、分析装置１は、一例として、評価者及び対象者が参加者として参加する対話（コミュニケーション）を分析する。分析装置１は、図１に示すように、分析システム１００の一部として構成される。分析システム１００は、撮像装置２０と、音声入力装置３０と、分析装置１と、を備える。

撮像装置２０は、例えば、ビデオカメラ等である。撮像装置２０は、対話に参加する参加者の動画像を撮像する。撮像装置２０は、例えば、参加者の上半身を撮像可能な位置に配置される。本実施形態において、撮像装置２０は、２台配置される。撮像装置２０のそれぞれは、評価者Ａ及び対象者Ｂを撮像する。

音声入力装置３０は、例えば、マイク等である。音声入力装置３０には、対話に参加する参加者の音声が入力される。本実施形態において、音声入力装置３０は、撮像装置２０に合わせて２台配置される。すなわち、音声入力装置３０のそれぞれには、評価者Ａ及び対象者Ｂの音声が入力される。

分析装置１は、例えば、サーバ等の電子計算機である。分析装置１は、撮像された動画像及び音声を分析する装置である。分析装置１は、図２に示すように、情報取得部１１と、特徴格納部１２と、特徴抽出部１３と、差分算出部１４と、状態格納部１５と、状態判断部１６と、状態出力部１７と、を備える。

情報取得部１１は、例えば、ＣＰＵが動作することにより実現される。情報取得部１１は、撮像装置２０によって撮像された動画像を取得する。また、情報取得部１１は、音声入力装置３０に入力された音声を取得する。本実施形態において、情報取得部１１は、撮像装置２０及び音声入力装置３０から取得した動画像及び音声を蓄積可能に構成される。情報取得部１１は、評価者側取得部１１１と、対象者側取得部１１２と、を備える。

評価者側取得部１１１は、例えば、評価者Ａを撮像した動画像と、評価者Ａの音声とを取得する。具体的には、評価者側取得部１１１は、一方の撮像装置２０から評価者Ａを撮像した動画像を経時的に取得する。また、評価者側取得部１１１は、一方の音声入力装置３０に入力される評価者Ａの音声を経時的に取得する。

対象者側取得部１１２は、例えば、対象者Ｂを撮像した動画像と、対象者Ｂの音声とを取得する。具体的には、対象者側取得部１１２は、他方の撮像装置２０から評価者Ａを撮像した動画像を経時的に取得する。また、対象者側取得部１１２は、他方の音声入力装置３０に入力される対象者Ｂの音声を経時的に取得する。

特徴格納部１２は、例えば、ハードディスク等の二次記憶媒体である。特徴格納部１２は、身体的な特徴点についての情報を格納する。特徴格納部１２は、例えば、目の位置を判断するための輝度及び肩の位置を判断するための形状等を特徴点の情報として格納する。

特徴抽出部１３は、例えば、ＣＰＵが動作することにより実現される。特徴抽出部１３は、取得された動画像に含まれる参加者の特徴点を抽出する。また、特徴抽出部１３は、入力された音声に対応する参加者の特徴点を抽出する。本実施形態において、特徴抽出部１３は、情報取得部１１に蓄積されている動画像及び音声のうち、分析する動画像及び音声を読み出す。具体的には、特徴抽出部１３は、分析する評価者Ａを撮像した動画像及び音声と、分析する対象者Ｂの動画像及び音声とを読み出す。特徴抽出部１３は、読み出した動画像に含まれる参加者（評価者Ａ及び対象者Ｂ）の特徴点を抽出する。また、特徴抽出部１３は、読み出した音声に含まれる参加者（評価者Ａ及び対象者Ｂ）の音量、ピッチ、波形変化、発話タイミング等の特徴量を抽出する。また、特徴抽出部１３は、入力された音声に対応する参加者の発言内容を抽出する。

差分算出部１４は、例えば、ＣＰＵが動作することにより実現される。差分算出部１４は、抽出された特徴点の位置と、予め定められた特徴点の位置との差分を経時的に算出する。差分算出部１４は、例えば、動画像に含まれる参加者の特徴点の位置と、予め定められた参加者の特徴点の平均的な位置との差分を経時的に算出する。また、差分算出部１４は、抽出された特徴点の特徴量と、予め定められた特徴量との差分を算出する。差分算出部１４は、例えば、音声に含まれる予め定められた参加者の音声の平均的な音量、ピッチ、波形変化、発話タイミング等との差分を経時的に算出する。本実施形態において、差分算出部１４は、評価者Ａ及び対象者Ｂのそれぞれについて、差分を算出する。

状態格納部１５は、例えば、ハードディスク等の二次記憶媒体である。状態格納部１５は、算出された差分を定量化するための状態情報を格納する。状態格納部１５は、例えば、算出された差分について、集中度又は緊張度に定量化するために状態情報を格納する。状態格納部１５は、例えば、図３に示すように、参加者の特徴点及び特徴量毎に、差分に対応する集中度及び緊張度を格納する。

状態判断部１６は、例えば、ＣＰＵが動作することにより実現される。状態判断部１６は、算出された差分に基づいて、撮像された参加者の状態を経時的に判断する。また、状態判断部１６は、抽出された発言内容に基づいて、入力された参加者の音声に対応する状態を経時的に判断する。状態判断部１６は、集中度判断部１６１と、緊張度判断部１６２と、動作判断部１６３と、を備える。

集中度判断部１６１は、算出された差分に基づいて、撮像された参加者の集中度を経時的に判断する。また、集中度判断部１６１は、算出された差分に基づいて、音声を取得した参加者の集中度を経時的に判断する。集中度判断部１６１は、例えば、状態格納部１５から状態情報を読み出す。集中度判断部１６１は、算出された差分について、状態情報に基づいて参加者の集中度に定量化する。集中度判断部１６１は、経時的に定量化を繰り返すことで、参加者の集中度を判断する。また、集中度判断部１６１は、集中度が所定範囲を外れる時刻を特定する。集中度判断部１６１は、例えば、集中度が所定範囲以上又は所定範囲以下に外れる時刻を特定する。本実施形態において、集中度判断部１６１は、対象者Ｂの集中度を経時的に判断する。また、本実施形態において、集中度判断部１６１は、集中度が所定範囲外に外れる時刻における評価者Ａの動作を対応させて判断する。また、集中度判断部１６１は、抽出された発言内容に基づいて、入力された参加者の音声に対応する集中度を経時的に判断する。

緊張度判断部１６２は、算出された差分に基づいて、撮像された参加者の緊張度を判断する。また、緊張度判断部１６２は、算出された差分に基づいて、音声を取得した参加者の緊張度を判断する。緊張度判断部１６２は、例えば、状態格納部１５から状態情報を読み出す。緊張度判断部１６２は、算出された差分について、状態情報に基づいて参加者の緊張度に定量化する。緊張度判断部１６２は、経時的に定量化を繰り返すことで、参加者の緊張度を判断する。また、緊張度判断部１６２は、緊張度が所定範囲を外れる時刻を特定する。緊張度判断部１６２は、例えば、緊張度が所定範囲以上又は所定範囲以下に外れる時刻を特定する。本実施形態において、緊張度判断部１６２は、対象者Ｂの緊張度を経時的に判断する。また、本実施形態において、緊張度判断部１６２は、緊張度が所定範囲外に外れる時刻における評価者Ａの動作を対応させて判断する。また、緊張度判断部１６２は、抽出された発言内容に基づいて、入力された参加者の音声に対応する緊張度を経時的に判断する。

動作判断部１６３は、算出された差分に基づいて、撮像された参加者の動作量を経時的に判断する。動作判断部１６３は、例えば、身体的な位置の変化量を参加者の動作量と判断する。本実施形態において、動作判断部１６３は、評価者Ａの動作量を経時的に判断する。また、動作判断部１６３は、評価者Ａの動作内容を経時的に判断する。

状態出力部１７は、例えば、ＣＰＵが動作することにより実現される。状態出力部１７は、判断された参加者の状態を出力する。状態出力部１７は、例えば、表示装置（図示せず）に、判断された参加者の状態を表示させる。状態出力部１７は、例えば、図４に示すように、参加者（対象者Ｂ）の集中度及び緊張度の変化を経時的に出力する。また、状態出力部１７は、参加者（評価者Ａ及び対象者Ｂ）の発話タイミングを経時的に出力する。また、状態出力部１７は、集中度判断部１６１及び緊張度判断部１６２において、所定範囲から外れた時刻をともに出力する。このとき、状態出力部１７は、集中度及び緊張度が所定範囲から外れた際の評価者Ａの動作内容を併せて出力する。また、状態出力部１７は、参加者（評価者Ａ）の動作量について、経時的に出力する。

次に、本実施形態の分析装置１の処理の流れを図５のフローチャートを参照して説明する。
まず、情報取得部１１は、撮像装置２０及び音声入力装置３０から、動画像及び音声を取得する（ステップＳ１）。情報取得部１１は、取得した動画像及び音声を蓄積する。

次いで、特徴抽出部１３は、蓄積された動画像及び音声から、分析する動画像及び音声を読み出す。そして、特徴抽出部１３は、動画像及び音声の対象となった参加者の特徴点及び特徴量を抽出する（ステップＳ２）。次いで、差分算出部１４は、抽出された特徴点及び特徴量について、予め定められた特徴点及び特徴量との差分を算出する（ステップＳ３）。

次いで、状態判断部１６は、算出された差分に基づいて、参加者の集中度及び緊張度を判断する（ステップＳ４）。また、状態判断部１６は、参加者の動作量及び動作内容を判断する。ここで、判断された集中度又は緊張度が所定範囲外であるか否かが判断される（ステップＳ５）。集中度又は緊張度が所定範囲外である場合（ステップＳ５：ＹＥＳ）、処理は、ステップＳ６に進む。一方、集中度又は緊張度が所定範囲内である場合（ステップＳ５：ＮＯ）、処理は、ステップＳ７に進む。

ステップＳ６において、状態判断部１６は、集中度又は緊張度が所定範囲外となる時刻を特定する。また、状態判断部１６は、その際の参加者の動作量及び動作内容を判断する。その後、処理は、ステップＳ８に進む。

ステップＳ８において、状態出力部１７は、集中度及び緊張度の変化を参加者の状態として経時的に出力する。また、状態出力部１７は、集中度及び緊張度が所定範囲外となる時刻を出力する。また、状態出力部１７は、参加者の動作量及び所定範囲外となった際の動作内容を出力する。

次に、プロブラムについて説明する。
分析装置１に含まれる各構成は、ハードウェア、ソフトウェア又はこれらの組み合わせによりそれぞれ実現することができる。ここで、ソフトウェアによって実現されるとは、コンピュータがプログラムを読み込んで実行することにより実現されることを意味する。

プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば、光磁気ディスク）、ＣＤ−ＲＯＭ(Read Only Memory)、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ(Programmable ROM)、ＥＰＲＯＭ(Erasable PROM)、フラッシュＲＯＭ、ＲＡＭ(random access memory）)を含む。また、表示プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

以上、一実施形態に係る分析装置１及びプログラムによれば、以下の効果を奏する。
（１） 複数人で実施される対話を分析する分析装置１であって、対話に参加する参加者を撮像する撮像装置２０によって撮像された動画像を取得する情報取得部１１と、取得された動画像に含まれる参加者の特徴点を抽出する特徴抽出部１３と、抽出された特徴点の位置と、予め定められた特徴点の位置との差分を経時的に算出する差分算出部１４と、算出された差分に基づいて、撮像された参加者の状態を経時的に判断する状態判断部１６と、判断された参加者の状態を出力する状態出力部１７と、を備える。これにより、コミュニケーションにおける参加者の状態について、経時的に定量化することができる。したがって、コミュニケーションにおいて発生した事象について、参加者にとって好適か否かを容易に判断できる。特に、話し手側の動作等に対する受け手側の状態を定量化することができるので、話し手側の好ましい点及び改善点を明確にすることができる。

（２） 状態判断部１６は、算出された差分に基づいて、撮像された参加者の集中度を経時的に判断する集中度判断部１６１を備え、状態出力部１７は、撮像された参加者の集中度の変化を経時的に出力する。これにより、参加者（聞き手）の話し手に対する尊敬に関連する指標を判断することができる。したがって、より良いコミュニケーションを実施するための指針を提供することができる。

（３） 集中度判断部１６１は、集中度が所定範囲を外れる時刻を特定し、状態出力部１７は、特定された時刻を集中度の変化とともに出力する。これにより、集中度に関して注意すべき変化を明示することができる。

（４） 状態判断部１６は、算出された差分に基づいて、撮像された参加者の緊張度を判断する緊張度判断部１６２を備え、状態出力部１７は、撮像された参加者の緊張度の変化を経時的に出力する。これにより、参加者（聞き手）の話し手に対する信頼に関連する指標を判断することができる。したがって、より良いコミュニケーションを実施するための指針を提供することができる。

（５） 緊張度判断部１６２は、緊張度が所定範囲を外れる時刻を特定し、状態出力部１７は、特定された時刻を緊張度の変化とともに出力する。これにより、集中度に関して注意すべき変化を明示することができる。

（６） 情報取得部１１は、評価対象として参加者に含まれる対象者Ｂを撮像した動画像を取得する対象者側取得部１１２を備え、状態判断部１６は、取得された対象者Ｂを撮像した動画像に基づいて、対象者Ｂの状態を経時的に判断する。これにより、参加者の中に、評価者Ａと対象者Ｂとが居る場合に、対象者Ｂの状態を判断することができる。したがって、評価者Ａ側の話し方、動作等に関連する対象者Ｂの状態を明示することで、評価者Ａ側の話し方、動作等の好適な点、改善点等を容易に示すことができる。

（７） 情報取得部１１は、参加者の音声が入力される音声入力装置３０に入力された音声を取得し、特徴抽出部１３は、入力された音声に対応する参加者の特徴点を抽出し、差分算出部１４は、抽出された特徴点の特徴量と、予め定められた特徴量との差分を算出し、状態判断部１６は、算出された差分に基づいて、入力された参加者の音声に対応する状態を経時的に判断する。これにより、参加者の動作に加え、内容及び話し方についても分析することができる。したがって、より総合的に、コミュニケーションの好適な点及び改善点を判断することができる。

（８） 対象者側取得部１１２は、評価対象として参加者に含まれる対象者Ｂの音声を取得し、状態判断部１６は、取得された対象者Ｂの音声に基づいて、対象者Ｂの状態を経時的に判断する。これにより、参加者の中に、評価者Ａと対象者Ｂとが居る場合に、対象者Ｂの状態を判断することができる。したがって、評価者Ａ側の話し方に関連する対象者Ｂの状態を明示することで、評価者Ａ側の話し方の好適な点、改善点等を容易に示すことができる。

以上、本発明の分析装置及びプログラムの好ましい一実施形態につき説明したが、本発明は、上述の実施形態に制限されるものではなく、適宜変更が可能である。
例えば、上記実施形態において、特徴抽出部１３は、蓄積された動画像及び音声のうち、分析する動画像及び音声を読み出すとしたが、これに制限されない。特徴抽出部１３は、情報取得部１１（評価者側取得部１１１及び対象者側取得部１１２）によってリアルタイムで取得されている動画像及び音声から特徴点及び特徴量を抽出してもよい。

また、リアルタイムで特徴点及び特徴量を抽出する場合、分析装置１は、入力された音声の異常を検知する異常検知部（図示せず）と、異常の検知に応じて警報を出力する警報出力部（図示せず）と、をさらに備えてもよい。異常検知部は、例えば、参加者の怒声や悲鳴等を異常として検知する。警報出力部が検知に応じて警報を出力するので、外部から異常に対処することが可能となる。

また、リアルタイムで特徴点及び特徴量を抽出する場合、差分算出部１４は、予め定められた特徴点及び特徴量について、開始から所定時間経過までの特徴点の平均的な位置と、開始から所定時間経過までの特徴量の平均的な量としてもよい。なお、所定時間は、対話の進行に応じて徐々に延長されてもよい。

また、上記実施形態において、状態判定部は、集中度又は緊張度が所定範囲外となった時刻における動画像及び音声を状態出力部１７に再生させるようにしてもよい。これにより、どのような動作や音声によって、変化が引き起こされたのかを確認することができる。また、状態判定部は、評価者Ａと対象者Ｂの発話割合、平均発話回数、平均発話スピード、評価者Ａの抑揚回数、抑揚強度当を判断してもよい。状態出力部１７は、評価者Ａと対象者Ｂの発話割合、平均発話回数、平均発話スピード、評価者Ａの抑揚回数、抑揚強度当を出力してもよい。

また、上記実施形態において、面接を一例として説明したが、これに制限されない。プレゼンテーション、ミーティング、請負側への発注側の発注場面等、参加者が複数存在する状況で分析装置１を用いることができる。特に、力関係が対等とは言えない、評価者Ａ及び対象者Ｂが存在する状況で分析装置１を用いることが好適である。

また、上記実施形態において、状況判断部は、過去に判断された動作に対する集中度及び緊張度の変化について、学習機能を有してもよい。状況判断部は、例えば、過去に判断された事象に基づいて、対象者Ｂに発生している感情の変化等を推測してもよい。

また、上記実施形態において、分析装置１は、動画像及び音声を分析するとしたが、いずれか一方を分析するようにしてもよい。例えば、分析装置１は、音声を取得できていない場合に、動画像のみを分析するようにしてもよい。

また、上記実施形態において、集中度判断部１６１及び緊張度判断部１６２のそれぞれは、対象者Ｂの集中度及び緊張度を判断するとしたが、これに制限されない。集中度判断部１６１及び緊張度判断部１６２のそれぞれは、評価者Ａの集中度及び緊張度を判断してもよい。

また、上記実施形態において、分析装置１は、情報取得部１１に、動画像及び音声の取得を開始させる取得実行部（図示せず）をさらに備えてもよい。これにより、リアルタイムで動画像及び音声を分析する際に、起点を設定することができる。

また、上記実施形態において、分析装置１は、状態情報を学習する状態情報学習部（図示せず）をさらに備えてもよい。状態情報学習部は、例えば、現在の状態情報に含まれる値（設定値、集中度緊張度）と、外部から得られた値（例えば、対象者のアンケートによって得られたモデル値）とを比較して、モデル値に近づけるように設定値を変更してもよい。

１ 分析装置
１１ 情報取得部
１３ 特徴抽出部
１４ 差分算出部
１６ 状態判断部
１７ 状態出力部
２０ 撮像装置
３０ 音声入力装置
１１２ 対象者側取得部
１６１ 集中度判断部
１６２ 緊張度判断部
Ａ 評価者
Ｂ 対象者

Claims (12)

1. 複数人で実施される対話を分析する分析装置であって、
   対話に参加する参加者を撮像する撮像装置によって撮像された動画像を取得する情報取得部と、
   取得された動画像に含まれる参加者の特徴点を抽出する特徴抽出部と、
   抽出された特徴点の位置と、予め定められた特徴点の位置との差分を経時的に算出する差分算出部と、
   算出された差分に基づいて、撮像された参加者の状態を経時的に判断する状態判断部と、
   判断された参加者の状態を出力する状態出力部と、
   を備える分析装置。
2. 前記状態判断部は、算出された差分に基づいて、撮像された参加者の集中度を経時的に判断する集中度判断部を備え、
   前記状態出力部は、撮像された参加者の集中度の変化を経時的に出力する請求項１に記載の分析装置。
3. 前記集中度判断部は、集中度が所定範囲を外れる時刻を特定し、
   前記状態出力部は、特定された時刻を集中度の変化とともに出力する請求項２に記載の分析装置。
4. 前記状態判断部は、算出された差分に基づいて、撮像された参加者の緊張度を判断する緊張度判断部を備え、
   前記状態出力部は、撮像された参加者の緊張度の変化を経時的に出力する請求項１から３のいずれかに記載の分析装置。
5. 前記緊張度判断部は、緊張度が所定範囲を外れる時刻を特定し、
   前記状態出力部は、特定された時刻を緊張度の変化とともに出力する請求項４に記載の分析装置。
6. 前記情報取得部は、評価対象として参加者に含まれる対象者を撮像した動画像を取得する対象者側取得部を備え、
   前記状態判断部は、取得された対象者を撮像した動画像に基づいて、対象者の状態を経時的に判断する請求項１から５のいずれかに記載の分析装置。
7. 前記情報取得部は、参加者の音声が入力される音声入力装置に入力された音声を取得し、
   前記特徴抽出部は、入力された音声に対応する参加者の特徴点を抽出し、
   前記差分算出部は、抽出された特徴点の特徴量と、予め定められた特徴量との差分を算出し、
   前記状態判断部は、算出された差分に基づいて、入力された参加者の音声に対応する状態を経時的に判断する請求項６に記載の分析装置。
8. 前記対象者側取得部は、評価対象として参加者に含まれる対象者の音声を取得し、
   前記状態判断部は、取得された対象者の音声に基づいて、対象者の状態を経時的に判断する請求項７に記載の分析装置。
9. 前記特徴抽出部は、入力された音声に対応する参加者の発言内容を抽出し、
   前記状態判断部は、抽出された発言内容に基づいて、入力された参加者の音声に対応する状態を経時的に判断する請求項７又は８に記載の分析装置。
10. 入力された音声の異常を検知する異常検知部と、
    異常の検知に応じて警報を出力する警報出力部と、
    をさらに備える請求項７から９のいずれかに記載の分析装置。
11. 複数人で実施される対話を分析する分析装置であって、
    対話に参加する参加者の音声が入力される音声入力装置に入力された音声を取得する情報取得部と、
    取得された音声に含まれる参加者の特徴点を抽出する特徴抽出部と、
    抽出された特徴点の特徴量と、予め定められた特徴点の特徴量との差分を経時的に算出する差分算出部と、
    算出された差分に基づいて、撮像された参加者の状態を経時的に判断する状態判断部と、
    判断された参加者の状態を出力する状態出力部と、
    を備える分析装置。
12. 複数人で実施される対話を分析する分析装置としてコンピュータを動作させるプログラムであって、
    前記コンピュータを、
    撮像装置によって撮像された対話に参加する参加者の動画像を取得する情報取得部、
    取得された動画像に含まれる参加者の特徴点を抽出する特徴抽出部、
    抽出された特徴点の位置と、予め定められた特徴点の位置との差分を経時的に算出する差分算出部、
    算出された差分に基づいて、撮像された参加者の状態を経時的に判断する状態判断部、
    判断された参加者の状態を出力する状態出力部、
    として機能させるプログラム。

Images