JP2019133451A - 評価方法、評価装置、評価プログラム、および、評価システム - Google Patents

Abstract

【課題】コミュニケーションを解析し、コミュニケーション内容、および、コミュニケーション技術への評価を提供する、方法、装置、プログラムおよびシステムを提供する。【解決手段】 コミュニケーションから音声情報と映像情報を取得し取り込むデータ取込方法と，取り込んだデータを人工知能技術により解析する方法と、解析された音声データと表情データを人とコミュニケーションイベントごとに区分し時系列に整理統合し、相手ユーザ反応を差分データに基づいて解析し、業務上予め定められた評価軸に基づき、コミュニケーション内容に関する評価、および、ユーザのコミュニケーションスキルに関する評価を提供する方法を備える。【選択図】図２

Description

本発明は、人のコミュニケーション行為に関し、正確にその内容を記録し、その内容について人工知能技術を用いて分析し、人のコミュニケーションスキルとコミュニケーション内容の評価することを可能とする、評価方法、評価装置、評価プログラム、および、評価システム に関する。

関連する技術、方法としては、例えば特許文献１〜６に、関連する技術情報がある。

特許文献１では、非言語行動を測定し、被験者の心理状態の情報を出力し、被疑者の行動に関する虚偽検出の結果を表示させる方法が提案されている。

特許文献２では、バイオメトリック・センサーを活用し、主に歩行、走行、睡眠などを測定し、行動のゴールに対する進捗や結果を表示させる方法が提案されている。

特許文献３では、ウェアラブル端末を用いて会話を記録分析し、カメラ映像からの笑顔判定からその利用者の会話相手の受容度および話者の会話の巧みさを分析し、ある話題について他人への影響が大きいユーザ（インフルエンサー）を抽出することを可能にする方法が提案されている。

特許文献４では、ユーザの発話の文脈意味を理解する際、ユーザの感情分類によって文脈意味の理解精度を高めることができる発話意味分析プログラムを用いることで、肯定意味／否定意味の理解の誤りを防ぎ、ユーザに対するコンピュータ対話システムについて対話シナリオの進行が崩れないようにすることを可能にする方法が提案されている。

特許文献５では、対話の発言内容をクラスタリング手段から肯定・否定の評価軸に基づき分析し、コミュニケーションスキルを評価する方法が提案されている。

特許文献６では、対話システムまたは人における聞き役対話を評価する方法が提案されている。

特表２００４−５２７３１３号公報 特開２０１７−１８８０８９号公報 特開２０１６−１０３０８１号公報 特開２０１７−１５６８５４号公報 特開２０１６−１５７３８８号公報 特開２０１１−４４０６０号公報

しかしながら、特許文献１に記載の技術は、虚偽検出を主な目的として、非言語行動を分析するものであり、会話や表情を含むコミュニケーションスキルの測定や評価には言及していない。

特許文献２に記載の技術は、あくまで歩行、走行、睡眠を対象にした行動分析のみに留まり、会話や表情を含むコミュニケーションスキルの評価には言及していない。

特許文献３に記載の技術は、ある話題について他人への影響が大きいユーザ（インフルエンサー）を抽出することを目的として、所定データリストに登録された限定な単語による会話分析、および、所定のデータ定義に基づく笑顔判定および所定指標のデータセットに限定した仕組みを提供するが、怒り、悲しみなどの他の感情要素を踏まえたコミュニケーション分析、評価や、データリストに無い単語を含むコミュニケーションを分析と評価するものではない。

特許文献４に記載の技術は、対話の整合性のとれた対話プログラムの提供を目的として、任意の個人に関する非言語的行動あるいは言語的行動の測定、観察からの出力の仕組みを提供するもので、複数の話者相互のコミュニケーション分析、評価の方法や、それに基づくコミュニケーション技術評価、または話者のコミュニケーション方法の改善に向けた結果提供を言及するものではない。

特許文献５に記載の技術は、コミュニケーションスキルの向上が目的とされてはいるものの、発話された言語情報からテキスト情報のみ用い、肯定あるいは否定の評価軸でコミュニケーションスキルの評価を出力する方法に留まるものであり、表情要素および傾聴部分を含めた双方向なコミュニケーション分析を方法として持つものではない。

特許文献６では、対話システムまたは人における聞き役対話を評価する目的であり、コミュニケーション全体に関わる評価を目的としておらず、また、雑談などの対話のみにもとづき対話評価を行うため、表情の要素を用いる評価には言及していない。

ところで、コミュニケーションに関わるスキルアップトレーニングや教育方法は様々なサービスが公知である。そうしたサービスで用いられる方法は、講師による座学研修やロールプレイング、講師との個別面談やコーチングなどの方法が一般的である。

そうした方法では、コミュニケーションスキル現状把握や改善結果に関して、アンケート、ヒヤリングや講師や受講者自身などの主観判断で、良し悪しが判断されることが多い。

そうした主観判断以外に、スキル現状把握、スキル改善結果を判別する手段が無いことから、本質的なスキル改善に至らない、あるいは、至りにくいことがある。

そのため、より客観的なデータに基づくかたちで、コミュニケーションスキル現状把握や改善結果を可視化でき、それをふまえて効率的にコミュニケーションスキル改善につながる仕組みが求められている。

業務上、人のコミュニケーションが含まれる分野、例えば、接客分野、医療分野、教育分野、エンターテインメント分野、サービス分野等で同様な課題が存在する。

そこで本発明では、コミュニケーションに関する、客観的なデータの取得、そのデータの分析方法及び分析結果の提供を通じて、より効果的な手段で、スキル現状の可視化、および、スキル改善の結果の可視化を図り、より確実なスキル改善が実現できる、評価方法、評価装置、評価プログラム、及び、評価システムを提供することを目的とする。また従来手法はウェアラブル端末や専用装置を使用するため実現するためのシステムコストが高価になるケースが多いが、本発明では高価な装置等を購入する必要が無く、比較的低コストで実現できる。

簡潔には、本明細書に説明される対象事項の種々の態様は、上記課題を解決するため、人のコミュニケーションの映像データと音声データを取り込み、人工知能技術を用いて数値データ化し、それらの数値データ化されたデータに基づき解析し、人のコミュニケーション内容および人のコミュニケーションスキルに関し評価を行う、評価方法、評価装置、評価プログラム、及び、評価システムを提供することを目的とする。

（１）ユーザ間におけるコミュニケーションの評価を支援する評価方法であって、コミュニケーションの映像データと音声データとを取り込むデータ取込ステップと、前記データ取込ステップにより取り込まれた前記映像データを、前記映像データに対応する人工知能技術を使って第１数値データに変換する映像解析ステップと、前記データ取込ステップにより取り込まれた前記音声データを、前記音声データに対応する人工知能技術を使ってテキストデータに変換し、前記テキストデータに対応する人工知能技術を使って前記テキストデータを第２数値データに変換する音声解析ステップと、前記第１数値データと前記テキストデータと前記第２数値データとを組み合わせて時系列に整理統合し、整理統合データを取得する統合ステップと、前記整理統合データから、異なる時間における相手ユーザの反応の差分に対応する差分データを取得する差分データ取得ステップと、業務上のコミュニケーション目的に沿い予め決められた評価軸を参照し、前記差分データに基づく前記コミュニケーションの内容の評価、及びユーザのコミュニケーションスキルの評価の少なくとも何れかを含む評価結果を算出する評価ステップと、前記評価ステップで得た前記評価結果を出力する出力ステップとを備える評価方法。

（２）前記統合ステップは、前記整理統合データに基づき、ユーザが任意時点で行ったコミュニケーション行為を評価する最小単位としてコミュニケーションイベントを定めるステップと、前記ユーザそれぞれに異なる時点におけるコミュニケーションイベントを定めるステップと、前記コミュニケーションイベントに基づき、前記コミュニケーションの開始時点から終了時点までに含まれる前記コミュニケーションイベントを時系列にまとめ統合したデータを、コミュニケーション総体として定めるステップとを有する、前記（１）に記載の評価方法。

（３）前記差分データ取得ステップは、前記コミュニケーションイベントごとに、前記相手ユーザの前記差分データを取得するステップを有する、前記（２）に記載の評価方法。

（４）前記評価ステップは、前記整理統合データと前記差分データに基づき、前記ユーザごとに前記評価結果を算出するステップを有し、前記整理統合データと前記差分データに基づき、前記コミュニケーション総体の内容に関し前記評価結果を算出するステップを有する、前記（２）に記載の評価方法。

（５）前記評価軸は、業務上与えられるコミュニケーション目的から規定される、コミュニケーションの評価基準を含み、前記評価ステップは、前記評価軸を参照して付与される、前記コミュニケーションイベントと前記コミュニケーション総体の少なくとも何れかへの評価値の付与、前記の業務上のコミュニケーション目的に沿い予め決められた分析項目に関する評価値の付与、及び、前記コミュニケーションの結果として得られた業務結果への評価値の付与、の少なくとも何れかを含み、前記評価結果を算出するステップを有する、前記（２）に記載の評価方法。

（６）ユーザ間におけるコミュニケーションの評価を支援する評価装置であって、コミュニケーションの映像データと音声データとを取り込むデータ取込機能と、前記データ取込機能により取り込まれた前記映像データを、前記映像データに対応する人工知能技術を使って第１数値データに変換する映像解析機能と、前記データ取込機能により取り込まれた前記音声データを、前記音声データに対応する人工知能技術を使ってテキストデータに変換し、前記テキストデータに対応する人工知能技術を使って前記テキストデータを第２数値データに変換する音声解析機能と、前記第１数値データと前記テキストデータと前記第２数値データとを組み合わせて時系列に整理統合し、整理統合データを取得する統合機能と、前記整理統合データから、異なる時間における相手ユーザの反応の差分に対応する差分データを取得する差分データ取得機能と、業務上のコミュニケーション目的に沿い予め決められた評価軸を参照し、前記差分データに基づく前記コミュニケーションの内容の評価、及びユーザのコミュニケーションスキルの評価の少なくとも何れかを含む評価結果を算出する評価機能と前記評価機能で得た前記評価結果を出力する出力機能とを備える評価装置。

（７）前記統合機能は、前記整理統合データに基づき、ユーザが任意時点で行ったコミュニケーション行為を評価する最小単位としてコミュニケーションイベントを定める機能と、前記ユーザそれぞれに異なる時点におけるコミュニケーションイベントを定める機能と、前記コミュニケーションイベントに基づき、前記コミュニケーションの開始時点から終了時点までに含まれる前記コミュニケーションイベントを時系列にまとめ統合したデータを、コミュニケーション総体として定める機能とを有する、前記（６）に記載の評価装置。

（８）前記差分データ取得機能は、前記コミュニケーションイベントごとに、前記相手ユーザの前記差分データを取得する機能を有する、前記（７）に記載の評価装置。

（９）前記評価機能は、前記整理統合データと前記差分データに基づき、前記ユーザごとに前記評価結果を算出する機能を有し、前記整理統合データと前記差分データに基づき、前記コミュニケーション総体の内容に関し前記評価結果を算出する機能を有する、前記（７）に記載の評価装置。

（１０）前記評価軸は、業務上与えられるコミュニケーション目的から規定される、コミュニケーションの評価基準を含み、前記評価機能は、前記評価軸を参照して付与される、前記コミュニケーションイベントと前記コミュニケーション総体の少なくとも何れかへの評価値の付与、前記の業務上のコミュニケーション目的に沿い予め決められた分析項目に関する評価値の付与、及び、前記コミュニケーションの結果として得られた業務結果への評価値の付与、の少なくとも何れかを含み、前記評価結果を算出する機能を有する、前記（７）に記載の評価装置。

（１１）情報端末に組み込むことにより、情報端末を前記（６）から前記（１０）のいずれか１項に記載の装置として制御および動作をさせる評価プログラム。

（１２）ユーザ間におけるコミュニケーションの評価を支援する評価システムであって、コミュニケーションの映像データと音声データとを取り込むデータ取込機能と、前記データ取込機能により取り込まれた前記映像データを、前記映像データに対応する人工知能技術を使って第１数値データに変換する映像解析機能と、前記データ取込機能により取り込まれた前記音声データを、前記音声データに対応する人工知能技術を使ってテキストデータに変換し、前記テキストデータに対応する人工知能技術を使って前記テキストデータを第２数値データに変換する音声解析機能と、前記第１数値データと前記テキストデータと前記第２数値データとを組み合わせて時系列に整理統合し、整理統合データを取得する統合機能と、前記整理統合データから、異なる時間における相手ユーザの反応の差分に対応する差分データを取得する差分データ取得機能と、業務上のコミュニケーション目的に沿い予め決められた評価軸を参照し、前記差分データに基づく前記コミュニケーションの内容の評価、及びユーザのコミュニケーションスキルの評価の少なくとも何れかを含む評価結果を算出する評価機能と前記評価機能で得た前記評価結果を出力する出力機能とを備える評価システム。

本発明によれば、怒り、喜び、悲しみなど多様な感情要素の数値化と分析、および、多様な単語や無音時間を含む会話分析を通じて、複数のユーザ相互のコミュニケーションを分析及び評価する方法により、ユーザのコミュニケーションスキル評価またはコミュニケーション方法の改善に向けた提案と方法を提供するものである。

本発明によれば、コミュニケーションに関して、データを収集し、それらのデータに関し人工知能技術を用い解析した数値データを活用し、客観的なデータに基づいた評価を行う。その評価を通じ、より効果的な手段で、評価対象ユーザのコミュニケーションスキル現状の可視化、及び、そのコミュニケーションスキル改善の結果の可視化を図り、より確実なスキル改善が実現できる。また従来手法はウェアラブル端末や専用装置を使用するため実現するためのシステムコストが高価になるケースが多いが、本発明では高価な装置等を購入する必要が無く、比較的低コストで実現できる。

本発明によれば、評価ステップでは、評価対象ユーザのコミュニケーションの内容、または、評価対象ユーザのコミュニケーションスキルに関する評価結果を算出する。この評価結果は、整理統合データから取得された差分データに基づいて算出される方法を含む。前記の取得された差分データは、コミュニケーション総体を通じて得た、会話相手の反応を網羅的に用いて構成される。そのため、これまでによくある、講師により主観的に定めた一律の閾値等を用いた絶対評価に比べて、より実態に沿う評価結果を得ることができ、実質的なコミュニケーションの評価を支援する。これにより、様々な会話の状況におけるコミュニケーションに関し、実質的かつ定量的な評価を得ることが可能となる。上記から、本発明では、コミュニケーションに関する、客観的なデータ取得、そのデータに基づく評価結果の提供を通じて、より効果的な手段で、スキル現状の可視化、および、スキル改善の結果の可視化を図り、より確実なスキル改善が実現できる。

本実施形態における評価システムの一例を示すブロック図である。 本実施形態における、データ収集装置、データ解析装置、人工知能を用いた解析部と表示装置のシステムと、それらが有する機能部の一例を示すブロック図である。 本実施形態における、コミュニケーションの映像データと音声データの取り込みに関するステップを例として図示するフロー図である。 本実施形態における、取り込まれた映像データの映像解析ステップ、取り込まれた音声データの音声解析ステップ、その統合ステップ、整理統合データに基づく差分データ取得ステップ、差分データなどを用いた評価ステップとその評価出力ステップに関し、一例としてステップを図示するフロー図である。 本実施形態における、統合ステップにおけるコミュニケーションイベントを定める手法の一例を示す模式図である。 本実施形態における、統合ステップにおけるコミュニケーション総体を定める手法の一例を示す模式図である。 本実施形態における、前記整理統合データを用いた差分データ取得ステップにおける差分データ取得の手法の一例を示す模式図である。 本実施形態における、評価ステップに含まれるフローの全体概要の一例を示すフロー図である。 本実施形態における、評価ステップに含まれる、コミュニケーションイベント単位での評価データ値付与フローの概要とその具体例を一例として示したフロー図である。 本実施形態における、評価ステップに含まれる、コミュニケーション総体への評価データ値付与フローの概要とその具体例を一例として示したフロー図である。 本実施形態における、評価ステップに含まれる、整理統合データに基づくデータ値算出の概要と具体例を一例として示した図である。 本実施形態における、評価ステップに含まれる、事後に得た業務結果に基づく評価データ値付与の概要とその具体例を一例として示した図である。 本実施形態における、評価ステップに含まれる、最終評価の付与フローの概要とその具体例を一例として示したフロー図である。 本実施形態における、コミュニケーション評価方法に活用可能なデータ項目例を一例として示した表である

本発明の音声データとは、マイクを通じて収集可能なデータで、人のコミュニケーションに関わる音声の要素として、人の発話音声、笑いや咳や嗚咽等の生理的な音声を収集かつデータ化し、コミュニケーション分析要素としてこれを用いる。あるユーザの発話音声がなく、かつ、同時間帯にその相手ユーザが発話している場合、あるユーザの発話音声がない時間帯を傾聴として区分し、コミュニケーション分析要素としてこれを用いる。

本発明の映像データとは、カメラを通じて収集可能なデータで、人（以降ユーザと記載する）のコミュニケーションに関わる映像の要素として、ユーザの表情、しぐさ、目線、頭部、身体の動き及び服装等の映像を収集かつデータ化し、コミュニケーション分析要素としてこれを用いる。

本発明の人工知能技術とは、機械学習、ディープラーニングに代表される公知のAIプログラム、AIライブラリまたはAIプラットフォーム（総合サービス）を含む方法を活用し、音声データに対応する人工知能技術、映像データに対応する人工知能技術とテキストデータに対応する人工知能技術には、例えば隠れマルコフモデル、畳み込みニューラルネットワーク（CNN）、再帰型ニューラルネットワーク（RNN）、LSTM（Long short-term memory）などの公知のモデルや方法が用いられる。公知であるため、ここではその説明は省略する。用いる人工知能技術は、コミュニケーション評価において、予め定められた業務目的に沿い適した手法を用いることが好ましい。

本発明の第１数値データとは、前記映像データを解析した結果から得られた数値データを含む。例えば前記の人工知能技術を用い、前記映像データを解析した結果から得た、ユーザの表情を感情カテゴリー別に数値化した数値データが含まれる。ここで用いるユーザの感情区分などは公知であるため、ここではその説明は省略する。業務目的に応じ、前記映像データから得たコミュニケーション要素に関し、人工知能技術を用いて映像データからユーザの行為に関する判別を行いその行為に関する意味づけを行いデータとして用いる手法も好ましい。また、業務目的に応じ、得た映像データに関し評価者による数値付与、フラグ付けや意味付けを含むことも好ましい。例えば、手のしぐさ、腕組みなどへのフラグ付け、意味付けが挙げられる。

本発明の第２数値データとは、前記音声データを解析した結果から得られた数値データを含む。例えば、前記の人工知能技術により前記音声データをテキスト化したデータを用い、前記テキストに含まれる単語や文章について感情分析し、肯定的か否定的かの度合いに応じ数値化された数値データ（以降、肯否度分析値と表現する）が含まれる。公知であるため、ここではその説明は省略する。業務目的に応じ、前記音声データから得たコミュニケーション要素に関し、人工知能技術を用いて音声データからユーザの発話行為に関する判別を行いその発話行為に関する意味づけを行いデータとして用いる手法も好ましい。業務目的に応じ、前記テキストデータに関し、公知の人工知能技術を用いてそれが含む意図に関する判別を行いそれに基づく意味づけを行いデータとして用いる手法も好ましい。また、業務目的に応じ、得た音声データに関し評価者による数値付与、フラグ付けや意味付けを含むことも好ましい。例えば、咳、声のうわずり、などへのフラグ付け、意味付けが挙げられる。

本発明のテキストデータとは、前記音声データについて、前記人工知能技術を用いて、ユーザの音声をテキストデータに変換したデータを含み、例えば発話された会話の文章、単語がテキストデータに変換されたデータが含まれる。

本発明のコミュニケーションイベントは、任意時点についてユーザごとに区分された整理統合データに基づき定義されるコミュニケーション評価の最小単位であり、例えば任意のユーザの発話行為や傾聴行為、発話を含まないコミュニケーション行為を含む。発話を含まないコミュニケーション行為は例えば笑顔などの行為を含む。

本発明のコミュニケーション総体は、評価対象となるユーザのコミュニケーション行為の開始時点から終了時点までで定められる、コミュニケーション評価の対象であり、コミュニケーション総体には、時系列に沿い連続して、複数生成される、前記コミュニケーションイベントが含まれる。

本発明の時系列に整理統合とは、前記の人工知能技術を用いた解析で得た、第１数値データとテキストデータと第２数値データをユーザ別に区分し、映像データと音声データそれぞれ収集した時点の時間情報に沿い、時系列に整理し、同一ユーザに関するデータとして統合し、整理統合データを得るステップを含む。

本発明の差分データとは、評価対象ユーザの任意のコミュニケーションイベントについて評価するために用いるデータであり、例えば、相手ユーザの反応を算出する際、評価対象ユーザの前記コミュニケーションイベントの前後の時点で、コミュニケーションの相手ユーザの反応の変化の度合いについて前記の整理統合データに基づき、相手ユーザの表情に関する第１数値データを比較し、その変化の度合いを差分として算出したデータを含む。また例えば、評価対象ユーザの任意のコミュニケーションイベントについて、評価対象ユーザ自身がコミュニケーションイベントで意図した表情を数値化するため、コミュニケーションイベント直前時点とコミュニケーションイベント時点で、評価対象ユーザの表情に関する変化を前記の整理統合データに基づき比較し、第１数値データの変化の度合いを差分として算出したデータを含むことも望ましい。

本発明の予め決められた評価軸とは、業務上与えられるコミュニケーション目的から規定される、コミュニケーションの評価基準が含まれる。例えば、その評価軸に沿って評価項目と評価基準値が選定され、その評価項目に関する評価テーブルが定められる。前記の評価軸に基づく評価テーブルを参照して、評価対象ユーザが行うコミュニケーション内容とコミュニケーションスキルが評価される。評価軸に沿って、例えば、コミュニケーションのどのデータを評価項目とするか、評価項目の数値基準をどのような値とするか、観測されたデータが数値基準より良いか悪いかの度合いを判別する評価テーブルをどのような数値で設定するかなどが定められる。

本発明の業務結果とは、コミュニケーション総体の結果として得られる項目を含む。業務結果は、前記の予め決められた評価軸によって定められるコミュニケーション目的が、コミュニケーション総体によってどの程度達成されたかを判別するのに用いられ、コミュニケーション内容、ユーザのコミュニケーションスキルを評価するための要素の一つとなる。業務結果には、例えば、評価対象ユーザの相手ユーザからのコミュニケーション総体後に得られたアンケート結果や、法人営業の文脈において評価対象の営業（ユーザ）が法人顧客と商談コミュニケーションを行った結果からその法人顧客がもつ、ニーズ、課題、予算金額、決裁者、希望納期に関する情報が取得できたか等の結果情報が含まれる。

本発明の評価値とは、前記コミュニケーションイベント、前記コミュニケーション総体、業務上のコミュニケーション目的に沿い予め決められた分析項目、および、前記のコミュニケーション総体の後に得た業務結果の少なくとも何れか一つについて付与され、それらの評価の度合いを可視化するために用いる値を含む。例えば、評価値の付与は、前記コミュニケーションイベント、前記コミュニケーション総体、業務上のコミュニケーション目的に沿い予め決められた分析項目、および、前記のコミュニケーション総体の後に得た業務結果の少なくともいずれかから得た評価項目の評価データ値に関し、前記の評価軸に基づく評価テーブルを参照して、評価値が付与される。

本発明の評価とは、評価対象ユーザのコミュニケーションスキルと、そのコミュニケーション内容に関する良し悪しの度合いを判別し、本発明で得る整理統合データと差分データに基づき、数値でその度合いを表すステップを含む概念である。前記の良し悪しの定義と基準は、業務上与えられるコミュニケーション目的から定められる。例えば、業務で得られた知見に基づき、業務の目的を達成する可能性を高めると推定されるデータに肯定的な意味を与え、業務の目的を達成する可能性を低めると推定されるデータに低い評価を与える手法が含まれる。それらの推定には公知の知見を用いる手法を含むことも好ましい。

本発明の評価結果とは、評価対象ユーザのコミュニケーションスキル、もしくは、評価対象ユーザのコミュニケーション内容に関する、最終評価を含む概念である。例えば、最終評価は、前記の整理統合データと前記差分データに基づき得られた、コミュニケーションイベントへの評価データ値、コミュニケーション総体への評価データ値と、前記の業務上のコミュニケーション目的に沿い予め決められた分析項目に関する評価データ値と、コミュニケーション総体後に得た業務結果に基づく評価データ値をもとに総合的に算出される。前記の総合的な算出は、前記の各評価データ値について、予め決められた評価軸に基づく評価テーブルを参照して、それぞれに該当する評価値を付与し、そこから得た評価値について、それぞれ対応する重み付け係数を用いて算出された値を合計するかたちで算出される。前記の合計された算出結果を最終評価とし、評価対象ユーザのコミュニケーションスキル、もしくは、評価対象ユーザのコミュニケーション内容に関する、評価結果として与える手法が含まれる。業務の目的に応じて、上記に加えて、例えば評価者などの第三者が付与する評価値を含む手法も好ましい。

本発明は、評価対象ユーザとその相手ユーザが行うコミュニケーションから、音声情報と映像情報を取得し取り込むデータ取込方法と，取り込んだそれぞれのデータを人工知能技術により解析する方法とを含み、前記の解析された音声データと表情データを前記ユーザと前記コミュニケーションイベントごとに区分し時系列に整理統合し、相手ユーザ反応を差分データに基づいて解析し、業務上予め定められた評価軸に基づき、コミュニケーション内容に関する評価、および、ユーザのコミュニケーションスキルの少なくともいずれかに関する評価を提供する方法に関する。

本発明の活用例としては、営業の客先コミュニケーション、小売り店頭の販売コミュニケーション、上司と部下間のコーチングコミュニケーション、教師と生徒の間のティーチングコミュニケーション、医療現場での医者や看護士等の医療機関スタッフと患者とのコミュニケーション、手話による複数ユーザ間でのコミュニケーション、聴衆に向けたプレゼンテーションコミュニケーション、レストランなどで飲食に際し提示した食事や飲料を食す顧客の反応や評価をみるコミュニケーション、音楽やダンスなどのエンターテイメントイベントで演奏やダンス表現に対する聴衆の反応や評価をみるコミュニケーション、アロマサロンで香りを提供するサービスで顧客の反応や評価をみるコミュニケーション、玩具売り場で玩具を与えたとき顧客の反応や評価をみるコミュニケーション、看板やサインボードなどの交通や商業サインを顧客に見せた際の相手の反応や評価をみるコミュニケーション、展示会で絵や陶芸品やデジタルアートなどを来場客に見せたときの相手の反応や評価をみるなど、様々なコミュニケーション領域で業務上必要なコミュニケーションを発する人のコミュニケーションの内容とその技術、または相手に提示するコミュニケーションの表現と手法の評価と改善において好適に利用し得る。

以下、本発明の実施形態について説明する。なお、本発明は、以下の形態や業態のみに限定されるものではない。以下の形態から本件の発明者が自明な範囲で適宜変更する形態や業態での活用も含まれる。すなわち、本明細書に説明されるいかなる特定の実施形態、態様、概念、構造、機能性又は例示にも限定されない。むしろ、本明細書に説明される実施形態、態様、概念、構造、機能性又は例示のいずれもが非限定的であり、本発明は一般にコミュニケーションから映像データと音声データを数値化し、コミュニケーション内容の評価および、人のコミュニケーションスキルの評価において利益及び利点を提供する種々の方法で使用されることができる

図１に、 本発明に係るシステム１００の概念図として全体構成の例を示している。例えば図１に示す通り、システム１００は、データ収集装置１aとデータ収集装置１bと、データ解析装置２およびインターネット１０２を介して利用するデータベース装置１０３を備えている。この例では、データ収集装置１aとデータ収集装置１bが、評価対象となるユーザのコミュニケーションの映像データと音声データを取り込み、データ解析装置２に送信する機能を有する。データ解析装置２は、受信した前記映像データを前記映像データに対応する人工知能技術を使って第１数値データに変換する。データ解析装置２は、受信した音声データを前記音声データに対応する人工知能技術を使ってテキストデータに変換し、前記テキストデータに対応する人工知能技術を使って第２数値データに変換する。また、データ解析装置２は、第１数値データ、テキストデータと第２数値データを組み合わせて時系列に整理統合し、整理統合データを取得する統合機能と、前記整理統合データから、異なる時間における相手ユーザの反応の差分に対応する差分データを取得する差分データ取得機能と、業務上のコミュニケーション目的に沿い予め決められた評価軸を参照し、前記差分データに基づく前記コミュニケーションの内容の評価、及びユーザのコミュニケーションスキルの評価の少なくとも何れかを含む評価結果を算出する評価機能を有する。また、データ解析装置２は取り込まれた映像データと音声データを解析および変換するため、インターネット１０２を介してデータベース１０３上にある人工知能技術を用いる機能を有する。データベース１０３はインターネット１０２を介して活用するクラウドサービスを含むことも好ましい。これら各装置の構成、機能およびステップについて、例を用いて具体的に説明する。

図２に例として示されるように、データ収集装置１aは、カメラ装置３を通じた映像データ取込の機能と、マイク装置１０を通じた音声データ取込の機能を有する。データ収集装置１aは、映像データ取込の機能を実現するため、カメラ装置３と、映像データ取込部４と、映像データ処理部５と、映像データ蓄積部６と映像データ送信部７を備える。データ収集装置１aは、音声データ取込の機能を実現するため、マイク装置１０と、音声データ取込部１１と、音声データ処理部１２と、音声データ蓄積部１３と音声データ送信部１４を備える。データ収集装置１aは、評価対象のコミュニケーションの映像データと音声データが収集された時間を記録するデータ収集時間記録部１５を有する。データ収集装置１bは、上記に例として説明したデータ収集装置１aの機能と少なくとも同じかそれ以上の機能と装置を持つことが望ましい。

図３にデータ収集装置１aでの映像データ取込ステップと音声データ取込ステップの例を示している。図３の例に示されるように、データ収集装置１aでの映像データ取込ステップD１は、コミュニケーションを行う対象ユーザの表情等の映像を、カメラ装置３を通じて収集の上映像データとして取り込み、取り込んだ映像データを解析に適するデータ形式に変換処理し、処理されたデータを蓄積保存およびデータ解析装置２に送信するステップを備える。データ収集装置１aでの音声データ取込ステップD２は、コミュニケーションを行う対象ユーザの音声等を、マイク装置１０を通じて収集の上音声データとして取り込み、音声データを解析に適するデータ形式に変換処理し、処理された音声データを蓄積保存およびデータ解析装置２に送信するステップを備える。上述した映像データ取込ステップD１と、音声データ取込ステップD２とを含むステップを、データ取込ステップとする。前記のデータ取込ステップにおいて、データ収集装置１aでは、共通した時間設定が予めセットされ、評価対象のコミュニケーションの映像データと音声データが収集された時間を記録する機能を持ち、映像データと音声データそれぞれの記録された時間データは映像データと音声データとともにデータ解析装置２に送信されるステップを含む。上記に例として説明した、データ収集装置１aの機能は、データ収集装置１bでも少なくとも同じ機能と装置を持つことが望ましい。

前記のデータ収集装置１aとデータ収集装置１bで実現される前記の各機能部は、映像撮影機能を持つ内部接続あるいは外部接続されたウェブカメラやビデオカメラ、音声収集機能を持つ内部接続あるいは外部接続されたマイク、入出力IFや、CPU、RAM、GPUなどのプロセッサとデータ蓄積用のハードウェア部品により基本的に実現される。

前記のデータ収集装置１aとデータ収集装置１bは、評価対象となるユーザ一もしくは複数のユーザに関し、その表情等の動画データとその音声等のデータを取り込む。評価対象となるユーザの人数の増加に応じて、同じ機能を有するデータ収集装置を増やすことも好ましい。その際、データ収集装置１aとデータ収集装置１bは公知のコンピュータやタブレット端末、スマートフォン等の携帯端末、ウェアラブル端末あるいはクレジットカードサイズの簡素なコンピュータやFPGAのようなプログラマブルロジックデバイス装置などを使用してもよい。また、カメラ装置とマイク装置についてデータ収集装置１aとデータ収集装置１bに備え付けられたものを使用してもよいし、外部装置として公知のカメラ装置やマイク装置、あるいは両方の機能を持つ装置をデータ収集装置１aとデータ収集装置１bに取り付け、それらを使用してもよい。

前記のデータ収集装置１aとデータ収集装置１bは、取り込んだ動画データと音声データをデータ解析装置２での処理に適した形式に適宜変換する。前記の取り込んだデータと、変換されたデータはデータ収集装置１aとデータ収集装置１bで蓄積される。前記の変換に際し、データ収集装置１aとデータ収集装置１bは、動画データと音声データをMP３やWAV、WMA、WMVやMP2またはMP4など公知の形式にデータ変換し、変換した前記データを有線ネットワーク媒体あるいは無線ネットワーク媒体などで構成される非限定的なネットワークを介してデータ解析装置２へと送る。

図１に例として示されるデータ収集装置１bは、上述のデータ収集装置１aと同じ役割と、少なくとも同等かそれ以上の機能を持ち、データ取込ステップを実現する機能を有する。こうしたデータ収集装置は少なくとも1台以上用いることが好ましいが、コミュニケーションのデータを収集する対象ユーザの人数に応じて、データ収集装置１aと同じ役割と、少なくとも同等かそれ以上の機能を持つ装置の台数を増やして用いることも好ましい。

図２で例として示される通り、データ解析装置２は、データ収集装置１aおよびデータ収集装置１bから収集した映像データおよび音声データに対し、それぞれに対応する人工知能技術による解析を行い、映像データと音声データを数値データやテキストデータに変換する機能部を有する。データ解析装置２は、前記の変換されたデータ結果を取得し、時系列に整理統合する機能部と、前記整理統合データを分析し、整理統合されたデータに基づき取得した差分データを分析する機能部と、前記分析から得られたデータから、業務目的に応じ予め決められた評価軸に沿い評価結果を算出する機能部と、評価結果を出力する機能部と蓄積する機能部を有する。前記の評価結果の出力は表示装置で前記評価結果を表示する。以下、これら各機能とその装置構成について具体的に説明する。

前記のデータ解析装置２は、映像データ受信部２０、音声データ受信部２１、映像データ解析部２２、音声データ解析部３０、映像データ及び音声データ処理部（時系列整理及び統合）４０、映像データ及び音声データ解析（差分データ取得、分析及び評価）部４１、解析結果出力（評価結果出力）部４２、及びデータ蓄積部４３を有する。これらの各機能部は、入出力IFや、CPU、RAM、GPUなどのプロセッサとデータ蓄積用のハードウェア部品により基本的に実現される。前記のデータ解析装置２が、データ収集装置１a、データ収集装置１b、少なくともいずれかの機能と役割を兼ねて持ち、例えば前記の各機能部を手段として機能させるプログラムを含む装置としてもよい。

図２に例として示されるように、データ収集装置１aとデータ収集装置１bからデータ解析装置２へ送信されてきた映像データと音声データとそれぞれのデータが収集された時間データは、データ解析装置２の映像データ解析部２２と音声データ解析部３０で、AIプログラム解析部５０を用いてそれぞれ解析される。

図２に例として示される、AIプログラム解析部５０は、その際呼び出されるAIプログラムであり、それらのAIプログラムは解析目的に応じ、少なくとも一つもしくは複数の公知の人工知能技術を含むAIプログラム、AIライブラリまたはAIプラットフォーム（総合サービス）が使用される。それらのAIプログラム、AIライブラリまたはAIプラットフォーム（総合サービス）は、外部のデータベース１０３上に配置されたAIプログラム、AIライブラリまたはAIプラットフォーム（総合サービス）をインターネット１０２のウェブサーバーを介してAPIで呼び出し、命令と解析するデータの送信や、解析結果の受信などを行っても良い。または、少なくとも一つもしくは複数のAIプログラム、AIライブラリやAIプラットフォーム（総合サービス）をデータ解析装置２内あるいはデータ収集装置１aやデータ収集装置１b内に配置して、それを呼び出し、命令と解析するデータの送信や、解析結果の受信など、例えば前記の各機能部を各手段として機能させるプログラムを含む装置としてもよい。

図２と例として示されるように、解析結果出力部４２では、映像データ及び音声データ解析部４１で生成された評価結果を視覚的に見やすく且つそれらの評価結果をもとに業務上望ましい結果を得るために活用しやすい表現に変換し、出力する。

図２に例として示されるように、表示装置４４は、データ解析装置２の解析結果出力部４２で出力された評価結果を表示する。これに際して、データ解析装置２に備えられたディスプレイ装置、データ解析装置２に接続されたディスプレイ装置、データ解析装置２に有線または無線でつながったコンピュータ端末上のディスプレイ装置、データ解析装置２に有線または無線でつながったタブレット端末や携帯電話（スマートフォン）いずれかのディスプレイ装置、あるいはデータ解析装置２に有線または無線でつながった大型ディスプレイ装置などの、ディスプレイを備える物理装置を使用して表示してもよい。または、データ解析装置２の解析結果出力部４２で出力された評価結果データを、データ解析装置２からインターネットを介しWebサーバーにデータを送信し、ユーザはインターネットを通じて、携帯端末やコンピュータ端末、タブレット端末などのディスプレイを備える物理装置でその結果を表示してもよい。左記の出力は、図４に例として記載された、出力ステップS６ の過程の一例である。

図２に例として示されるように、データ蓄積部４３は、データ解析装置２内の映像データ解析部２２、音声データ解析部３０、AIプログラム解析部５０、映像データ及び音声データ処理部４０、映像データ及び音声データ解析部４１、解析結果出力部４２で得たデータを蓄積する。これに際して、データ蓄積部４３はデータ解析装置２に備えられた、例えばハードディスクやSSDなどのデータ蓄積用のストレージ装置を活用しても良いし、または、データ解析装置２に接続された外部記憶装置として例えばUSBメモリ、SDカードなどの電子記憶媒体を使用しても良い。あるいは、データ解析装置２に有線または無線でつながったインターネット上の記憶媒体として、クラウドストレージなどの電子記憶媒体を使用しても良い。蓄積されたデータから、任意の評価対象ユーザの複数の会話ケースに関して、同様なデータ分析を行い、そこから生成される評価結果を比較することも好ましい。

図４に例として示されるように、データ解析装置２に含まれる、映像データ解析部２２は、映像解析ステップS１ を行う。映像解析ステップS１ では、AI呼出部２３で、データ収集装置１aまたはデータ収集装置１bから受信した映像データを解析するためのAIプログラム映像解析部５１（映像データに対応する人工知能技術）を呼び出し、解析命令及びデータ送信部２４で解析命令と、受信した映像データをAIプログラム映像解析部５１へ送信する。その際用いられる解析命令には、業務目的に応じて、映像データから例えばユーザの表情に関する分析やその感情分析を行う解析命令が含まれる。AIプログラム映像解析部５１ではそれらの解析命令と解析に使用する映像データを受けとり、命令された解析処理を実行し、（第１数値データ）に変換した結果を生成する。ここで用いる人工知能技術は、コミュニケーション評価において、予め定められた業務目的に沿い最適な技術や手法を用いることが好ましい。AIプログラム映像解析部５１で左記のように解析され生成された結果データは、解析結果取得部２５で受け取られ、取得データ分析部２６で業務上必要な観点でさらにデータ分析が実施される。AIプログラム映像解析部５１での解析から得られる結果（第１数値データ）は、例えば、得られた映像データから評価対象ユーザの表情に関し、図４に例えば示される、喜楽、悲哀、怒気、驚愕、中立、嫌悪、軽侮、恐れなどのような表情カテゴリー別に数値化された値を出力する。この際に用いる、表情カテゴリーの種別は、公知の知見に基づいた区分が用いられる。

前記のようにAIプログラム映像解析部５１から出力され解析結果取得部２５で受け取られた解析結果は、取得データ分析部２６で、予め定められた業務上必要な観点に沿う内容で、データ分析が実施される。取得データ分析部２６での分析として、例えば下記のような分析が実行される。分析手法は予め定められた業務目的に応じて最適な選択を行うことが好ましく、例えば下記（１）と（３）のみの分析とするなどの手法が選択されることも好ましい。
（１）得られた表情カテゴリー別の数値を、発話したユーザ別に区分する。
（２）発話したユーザ別に区分した、表情カテゴリー別の数値を相対化した値に変換する。例えば、ユーザAについて得た（第１数値データ）が、（表情カテゴリー：喜楽）の数値が５．０、（表情カテゴリー：中立）の数値が３．０、（表情カテゴリー：怒気）が２．０の場合、それぞれの値を合計値（５．０＋３．０＋２．０＝１０．０）で割り、比率の値（％）に変換する（前記例では右記数値に変換される：喜楽＝５０％、中立＝３０％、怒気＝２０％）。
（３）（２）で得られた表情カテゴリー別の数値を、データ収集時間にもとづき時系列に整理する。
ここで解析される、映像データの時間の区分は業務目的に応じ最適な区分を用いることが好ましい。例えば、前記データ収集装置1aで収集された映像データを、収集時点に沿い10分の1秒ごとに映像データを切り出し、表情データを人工知能技術で数値化する手法が含まれる。なお、これらの処理は予め決められた業務目的に応じて最適な処理方法と内容を選択することが好ましい。取得データ分析部２６で分析されたデータは、映像データ及び音声データ処理部４０に送信される。

図４に例として示されるように、データ解析装置２に含まれる、音声データ解析部３０は、音声解析ステップS２ を行う。音声解析ステップS２ では、AI呼出部３１を有し、受信した音声データを解析するためのAIプログラム音声解析部５２（音声データに対応する人工知能技術）を呼び出し、解析命令及びデータ送信部３２で解析命令とあわせてデータをAIプログラム音声解析部５２に含まれる（音声データに対応する人工知能技術）へ送信する。AIプログラム音声解析部５２に含まれる（音声データに対応する人工知能技術）ではそれらの指示とデータを受けとり、解析を実行し結果を生成する。その際用いられる解析命令には、業務目的に応じて、音声データから例えば発話された言葉について抽出し、それらをテキストデータ に変換する処理を行う。次に、前記テキストデータに関し、AIプログラム音声解析部５２に含まれる（テキストデータに対応する人工知能技術）でそのテキスト内容の感情度合いを分析し数値化する処理を例えば行う。前記の感情度合いの分析は例えば肯定度と否定度の度合いを分析し、その度合いに応じた数値化をする処理を含む（肯否度分析）。ここで用いる人工知能技術は、コミュニケーション評価において、予め定められた業務目的に沿い最適な手法や技術を用いることが好ましい。前記テキストデータを解析するためのAIプログラム（テキストデータに対応する人工知能技術）を呼び出し、解析命令及びデータ送信部３２で解析命令とあわせてデータをAIプログラム音声解析部５２に含まれる（テキストデータに対応する人工知能技術）へ送信する。AIプログラム音声解析部５２に含まれる（テキストデータに対応する人工知能技術）ではそれらの指示とデータを受けとり、解析を実行し結果を生成し、AIプログラムの解析結果（第２数値データ）を得る。前記で得たAIプログラムの解析結果（第２数値データ）は、解析結果取得部３３で受け取り、取得データ分析部３４で分析された後、映像データ及び音声データ処理部４０に送信される。前記で得た解析結果（第２数値データ）は、発話されたテキスト内容の感情度合いを数値化したデータ（肯否度分析値）を含む。 または、発話からテキスト化されたデータ（テキストデータ）からキーワードを抽出し、キーワード分析を行うことも望ましい。これらの解析方法は業務目的に応じて、最適な方法や技術を選択し使用することが好ましい。

前記データ解析装置２の、AIプログラム音声解析部５２に含まれる（音声データに対応する人工知能技術）と（テキストデータに対応する人工知能技術）への解析命令に含まれる処理は、例えば下記のような処理が少なくとも一つ以上含まれる。これらの解析命令に含まれる処理は予め決められた業務目的に応じて、最適な処理を選択し前記命令に含めることが好ましい。
（a）音声データから発話された言葉や単語を抽出し、それらをテキストデータに変換する処理。
（b）発話からテキスト化されたデータからキーワードを抽出する処理。
（c）抽出されたテキストデータの言葉や単語について、ユーザの感情的な側面から肯定的な意味合いを持つか否定的な意味合いを持つかに関する解析を行い、肯定的な度合いか否定的な度合いを示す数値（第２数値データ（肯否度分析値））を出力する処理。

前記データ解析装置２に含まれる解析結果取得部３３では、AIプログラム音声解析部５２に含まれる（音声データに対応する人工知能技術）と（テキストデータに対応する人工知能技術）から解析され生成されたデータを受け取り、取得データ分析部３４で、予め定められた業務上必要な観点に沿う内容で、データ分析が実施される。ここで行うデータ分析の方法やその分析に用いるデータ定義の方法は、予め決められた業務目的に応じて最適な処理方法と内容を選択することが好ましい。取得データ分析部３４で分析されたデータは、映像データ及び音声データ処理部４０に送信される。取得データ分析部３４での分析では、例えば下記のような分析のうち少なくとも一つ以上が実行される。
（１）得られたテキストデータを発話したユーザ主体別に区分する。
（２）得られたテキストデータに含まれる、文字数を算出する。
（３）発話されたテキスト１文字あたりの発話速度（1文字あたりにかかる秒数）を算出し出力する。
（４）音声データが収集された時間データに基づき、発話された時間帯と発話されていない時間帯に区分して、それぞれにフラグ付けする処理を行う。フラグ付けは例えば、発話された時間帯は発話フラグを与え、発話していない時間に関して、片方のユーザが発話しており、他方のユーザが無音の場合、発話していないユーザが”傾聴”しているとの傾聴フラグを与えるなどの処理を含む。前記のフラグ付けは左記定義に応じて自動付与される手法が含まれる。または業務目的に応じて、評価者が行うことも好ましい。
（５）発話されたテキストが質問の意図を含む発話に関し、質問としてフラグ付けがなされる。これには所定の質問語彙DB（データベース）に基づき、前記の発話されたテキストに質問語彙が含まれるかで判別するなどの公知の手法が用いられる。または、または業務目的に応じて、評価者が質問と判別しフラグ付けを行うことも好ましい。

図４に例として示されるように、映像データ及び音声データ処理部４０では、統合ステップS３ を実施する。統合ステップS３ では、映像データ解析部２２と音声データ解析部３０から送られた解析結果データを映像データ及び音声データ処理部４０で受け取り、映像データと音声データがデータ収集装置でカメラとマイクで収集された時間データにあわせてユーザ別にデータ整理およびデータ統合し、整理統合データを得る処理を行う。図５には例として、映像データ及び音声データ処理部４０で行われる処理結果から、任意のユーザに関し、前記のデータ収集装置上での収集された時間データにあわせてデータが整理統合され、整理統合データを得た結果が示されている。映像データ及び音声データ処理部４０で処理されたデータは、映像データ及び音声データ解析部４１に送信される。映像データ及び音声データ解析部４１では、差分データ取得ステップS４と評価ステップS５を実施し、そこから得た評価結果は解析結果出力部４２に送られ出力（出力ステップS６）される。前記の評価結果はデータ蓄積部４３で蓄積され、表示装置４４で表示される。映像データ及び音声データ処理部４０で行うデータ処理は、上述の処理手法に限定されず、業務目的に応じて最適な処理方法と内容を選択することが好ましい。

前記統合ステップS３ から、ユーザ別に整理統合データを得た上で、評価対象ユーザのコミュニケーションスキルの評価を行うことで、評価対象となるユーザ自身が自分のコミュニケーションを客観的に可視化し、自身のコミュニケーション実施結果や自身のコミュニケーションスキルに関し、振り返ることを容易にし、それに基づきコミュニケーション改善への取り組みをしやすくなる。また、コミュニケーションスキル評価が高い他ユーザがいる場合、その高評価ユーザのコミュニケーションスキルが客観的に可視化されるため、それをベストプラクティスとして位置づけ、別ユーザのコミュニケーション改善の支援に役立てられる効果が見込まれる。

図５に例として示されるように、前記の統合ステップS３ では前述の整理統合データをもとに基づき、コミュニケーションイベントE１を定めるステップが含まれる。そのステップは、映像データ及び音声データ処理部４０で行われる処理に含まれ、例えば、評価対象のコミュニケーションの中で、任意のユーザが任意の時点で行った発話または傾聴などの一行為を一つのコミュニケーションイベントE１として、コミュニケーションを評価する最小単位として定める。

前記のように、コミュニケーションを評価する最小単位として、ユーザが行うコミュニケーションイベントE１ごとに評価を算出することで、評価対象ユーザが自身のどのコミュニケーション行為に関して、改善を図るべき要素か、あるいは改善が不要な要素かを認識するための支援材料となる。

図６に例として示されるように、前記の映像データ及び音声データ処理部４０で行われる統合ステップS３ ではコミュニケーション総体E２を定めるステップが含まれる。コミュニケーション総体E２は、評価対象となるコミュニケーション行為の開始時点から終了時点までで定められる、コミュニケーション評価の対象であり、コミュニケーション総体E２には、時系列に沿い連続して、複数生成される、前記コミュニケーションイベントE１が含まれる。

図７に、映像データ及び音声データ解析部４１で実施される、差分データ取得ステップS４ の処理に関する例が示される。図７の例では、ユーザAが行った任意のコミュニケーションイベントを評価するため、異なる時間における相手ユーザ（図７例ではユーザB）の反応の差分に対応する差分データを取得する例として、前記統合ステップS３で得た整理統合データをもとに、コミュニケーション相手であるユーザBの反応を異なる時点（時間）において取得し、その時点間の変化量を差分として取得している。この例では、ユーザAが行った任意のコミュニケーションイベントが、ユーザBからどのような反応を引き出したかについて差分データとして取得し可視化するため、下記の処理を行っている。
（１）評価対象となるコミュニケーションイベントを定める：図７の例では、前記統合ステップS３で得た整理統合データをもとに、ユーザAのコミュニケーションイベント（発話「本日は何かお探しですか」と、その発話時のユーザA表情）が評価対象となる。
（２）（１）で定められたコミュニケーションイベントに対する反応となるデータを定める：図７の例では、前記統合ステップS３で得た整理統合データをもとに、該当するユーザAのコミュニケーションイベントに対し、ユーザBが反応した時点のデータを定め、差分データ取得の算出に用いる。
（３）差分データを取得するための時点を定める：図７の例では、ユーザAコミュニケーションイベント時点（9:00:27〜9:00:32）をT2時点とし、その直前となる時点（9:00:22〜9:00:27）をT1時点と定める。ここで定める時点の選択や方法は、予め決められた業務目的に応じて最適な処理方法と内容を選択することが好ましい。例えば、相手ユーザの反応としての変化を算出する際、コミュニケーションイベント直後の時点を用いて、コミュニケーションイベント時点と比較することも好ましい。または、例えば、相手ユーザの反応としての変化を算出する際、コミュニケーションイベント直前時点と、コミュニケーションイベント直後時点で比較することも望ましい。
（４）差分データを取得する：図７の例では、前記統合ステップS３で得た整理統合データをもとに、各ユーザの表情カテゴリー別の数値に関し、T1時点からT2時点への変化量を算出し、差分データとして取得している。算出式は下記の通りである。なお、ここで用いる算出式は、予め決められた業務目的に応じて最適な算出式を用いることが望ましい。変化量を算出するために、前記統合ステップS３で得た整理統合データをもとに、例えばユーザ両者の表情数値をベクトル化し、ベクトルの変化量とベクトル角度の比較から、ユーザAに対するユーザBの反応の度合いを推定することも望ましい。
算出式例：（表情カテゴリー別に右記式で算出）（T2時点の数値）−（T1時点の数値）＝（表情変化量）
ここでT２時点の数値とT１時点の数値は、一例として、下記方法で値を定めている。なお、対象ユーザの表情カテゴリー別データについて、ここで用いる時間区分は、業務目的に応じ最適な区分を用いることが好ましい。例えば、前記データ収集装置1aで収集された映像データを、収集時点に沿い10分の1秒ごとに切り出し、そのように切り出された映像データごとに、人工知能技術で表情データを数値化したデータを用いる手法が含まれる。
・T２時点の数値：対象時間内（9:00:27〜9:00:32）に収集された、対象ユーザの表情カテゴリー別データに関し、相加平均値を用い、T２時点の数値と定める。
・T１時点の数値：対象時間内（9:00:22〜9:00:27）に収集された、対象ユーザの表情カテゴリー別データに関し、相加平均値を用い、T２時点の数値と定める。
なお、上記で数値を定める方法は、上記方法に限定されず、業務目的に応じて最適な方法と内容を選択することが好ましい。
図７の例では、前記算出式を用いた、異なる時間における相手ユーザの反応の差分に対応する差分データを取得する例として、T２時点とT１時点の変化から、ユーザ別に下記のように表情変化量の差分データを表情カテゴリー別に算出している。：
・ユーザA
喜楽：10.0%−5.0%＝5.0%、悲哀：2.0%−1.0%＝1.0%、怒気：1.0%−1.0%＝0%、驚愕：3.0%−1.0%＝2.0%、中立：75.0%−80.0%＝（−5.0%）、嫌悪：3.0%−5.0%＝（−2.0%）、軽侮：1.0%−1.0%＝0%、恐れ：5.0%−6.0%＝（−1.0%）
（上記表情値とその変化量を、該当コミュニケーションイベント時にユーザAがユーザBに対して意図した表情として推定）
・ユーザB
喜楽：1.0%−1.0%＝0%、悲哀：10.0%−1.0%＝9.0%、怒気：1.0%−1.0%＝0%、驚愕：2.0%−1.0%＝1.0%、中立：64.0%−85.0%＝（−21.0%）、嫌悪：3.0%−5.0%＝（−2.0%）、軽侮：4.0%−1.0%＝3.0%、恐れ：15.0%−5.0%＝10.0%
（上記表情値とその変化量を、ユーザAのコミュニケーションイベントに対するユーザBの反応表情として推定）
上記に例として示されているように、評価対象となるユーザのコミュニケーションイベントに関し評価するため、異なる時間における相手ユーザの反応の差分に対応する差分データを取得する。前記評価対象ユーザのコミュニケーション総体に含まれる、コミュニケーションイベントすべてかその一部に関し、同様に異なる時間における相手ユーザの反応の差分に対応する差分データを取得する。上記の例に依らず、評価対象ユーザと相手ユーザが3名以上のケースでも、前記方法により、異なる時間における相手ユーザの反応の差分に対応する差分データを取得することも好ましい。

図７に例として示されるように、評価対象ユーザが行った、任意のコミュニケーションイベントに対して、そのコミュニケーションイベント時点を軸にして、相手ユーザの反応の変化量を時系列に分析し、算出することで、相手の反応を可視化できる。そのようなかたちで、評価対象ユーザが行った、任意のコミュニケーションイベントに対して、相手ユーザがどのような反応をしたか、あるいは反応をしていないかをデータとして可視化することで、評価対象ユーザが相手から期待した反応を得られたか、もしくは、期待した反応を得られなかったのかの度合いを客観的に評価することが出来る。その客観的な評価をもとに、自身が行ったコミュニケーションイベントの効果を“相手目線”で客観化し、自身のコミュニケーションスキルの改善に役立てることが出来る。

前記の例では、ユーザAとユーザBの間で行われた連続したコミュニケーションイベントに関し、ユーザAが行ったコミュニケーションイベントごとに上述のような差分データを算出し、連続したコミュニケーションイベントを含むコミュニケーション総体に関し、総合的な評価を付与するための一要素として活用する。すなわち、評価対象であるユーザAのコミュニケーションについての総合評価に反映する一要素として用いる。

前記のようにコミュニケーション総体として捉え、そのコミュニケーション内容に関し、総合的に評価対象にすることで、業務上のコミュニケーション目的に沿った視点で、コミュニケーション実施の内容とその結果を総合的に把握し、業務目的を達成する効果を出すための視点で評価者が評価を行うことが可能となる。それにより、評価対象となるユーザが、業務目的に沿うコミュニケーション結果を得るための視点で、自身が行ったコミュニケーションを総体的な視点で客観化し、自身のコミュニケーションスキルの改善に役立てることが出来る。

図８には、映像データ及び音声データ解析部４１で実施される、評価ステップS５ に含まれるフローの全体概要が例示的に示されている。前記統合ステップS３ と前記差分データ取得ステップS４から得たデータを用いて、下記具体例にある、評価データ値（Val）付与の処理が実施される。この際、コミュニケーション総体の結果として事後に得た業務結果は例えば評価者により別途付与され、その評価データ値（Val）を用いる手法が含まれる。前記評価ステップS５ で用いる、コミュニケーション評価のための項目と評価基準値の選定、及び、その評価項目に関する評価テーブルは、業務上与えられるコミュニケーション目的に沿い定められる。下記に評価ステップS５ に含まれるフローの具体例を示す。
（１）
（１−１） コミュニケーションイベント単位で評価データ値（Val）を付与する（1001）。
（１−２） 前記1001のコミュニケーションイベント単位に付与された評価データ値（Val）を用い、それらのコミュニケーションイベントで構成されるコミュニケーション総体へ評価データ値（Val）を付与する（1002）。
（２）予め決められた分析項目のデータに関し、評価データ値（Val）をそれぞれ算出し付与する（1010）。
（３） コミュニケーション結果として事後に得た業務結果に基づき評価データ値（Val）を付与する（1020）。
（４）上記各フロー（1002）（1010）（1020）で取得した評価データ値（Val）について、予め業務に沿い与えられた、評価基準値と評価テーブルに基づき、それに対応する評価値（T）をそれぞれ算出し、それぞれの評価データ値（Val）の種類に応じ、予め定められた重み付け係数（W）を掛けて、評価値（Y）を算出する（1030）。
（５）上記1030で算出した評価値（Y）を前記の評価データ値（Val）種類すべてについて合計して最終評価（Z）を算出し、評価対象ユーザのコミュニケーションスキル、あるいは、評価対象ユーザのコミュニケーション内容に関する評価結果として付与する（1040）。

図９には、評価ステップS５ に含まれる、コミュニケーションイベント単位で評価データ値（Val）を付与する（1001）フローが例示的に示されている。前記統合ステップS３ と前記差分データ取得ステップS４ から得たデータを用いて、下記評価データ値（Val）付与の処理を平行して実施する。
（１）評価対象となるユーザのコミュニケーションイベント（下記例では（A）が該当）と、それに対する相手ユーザの反応データ（下記例では（B）が該当）を定める（1001a）。
（図９の例で定められたデータ）
（A）評価対象データ（ユーザAコミュニケーションイベント）：ユーザA発話「本日は何かお探しですか」と、ユーザA表情（前記表情変化量（ユーザA））を含むコミュニケーションイベント。
（B）（A）に対する、相手ユーザBの反応データ（ユーザBコミュニケーションイベント）： ユーザB発話「（発話無し）」と、ユーザB表情（前記表情変化量（ユーザB））を含むコミュニケーションイベント。
（２）評価対象データと、それに対する相手ユーザの反応データの差分データにもとづき、 統合値を算出する（1001b）。
発話統合値を算出する際は、例として下記の算出式（１）算出式（２）の式が用いられる。ここで用いる算出式は、予め決められた業務目的に応じて最適な式や算出方法を選択することが好ましい。
算出式（１）発話統合値の算出：（（肯否度分析値）−（値中央値※１））×100＝発話統合値
※１：ここで用いる値中央値は、前記（テキストデータに対応する人工知能技術）の手法（この例ではテキストの感情分析を含む肯否度分析）に応じて定まる中央値、あるいはその手法が含む度合い尺度のなかで最も中立的な値を用いることが望ましい。
算出式（２）
（２−１） 表情統合値の算出：
（ア）肯定感情（表情）の変化量合計＝喜楽（％）変化量／１ ※２
（イ）否定感情（表情）の変化量合計＝（悲哀（％）変化量 ＋怒気（％）変化量＋嫌悪（％）変化量＋軽侮（％）変化量＋恐れ（％）変化量）／５ ※３
※２：ここで用いる除数は、肯定感情として、業務目的に沿い予め定められた項目の数を用いる（この例では、喜楽を肯定感情とし、その項目数１を用いる）
※３：ここで用いる除数は、否定感情として、業務目的に沿い予め定められた項目の数で除算する（この例では、悲哀、怒気、嫌悪、軽侮、恐れを否定感情とし、その項目数５を用いる）
（２−２）
表情統合値＝（（ア）−（イ））×１００
（図９の例での統合値算出の例）
算出例
（図９のユーザA）発話統合値の算出 : （0.52（肯否度分析値）−0.50（値中央値））× 100＝2.0
（図９のユーザA）表情統合値の算出 :
（ア）5.0%／1＝5.0%（喜楽変化量）
（イ）（1.0%（悲哀変化量）＋0%（怒気変化量）＋（−2%（嫌悪変化量））＋0%（軽侮変化量）＋（−1%（恐れ変化量））／5＝（ −0.4%）
表情統合値＝（（ア） − （イ））×100＝5.4
（図９のユーザB）発話統合値の算出 : 0.0 (この例では、ユーザBの発話が無いため０を与える)
（図９のユーザB）表情統合値の算出 :
（ウ）0.0%／1＝0.0% (喜楽変化量)
（エ）（9.0%（悲哀変化量） ＋0%（怒気変化量）＋（−2.0%（嫌悪変化量））＋3.0%（軽侮変化量）＋10.0%（恐れ変化量）／5＝4.0%
表情統合値＝（（ウ） − （エ））×100＝（−4.0）
（３）前記1001bで得た、ユーザごとに発話統合値と表情統合値を合計し、その合計値をユーザ間で比較し、差を算出する（1001c）。
（図９の例での算出例）
（３−１） ユーザごとの発話統合値と表情統合値の合計：
（図９のユーザA）2.0（発話統合値）＋5.4（表情統合値）＝7.4
（図９のユーザB）0.0（発話統合値）＋（−4.0（表情統合値））＝（−4.0）
（３−２）前記合計値をユーザ間で比較し、ユーザ間での差を算出：7.4−（−4.0）＝11.4
（４）前記1001c で算出された差を二乗した値を用い、評価対象データとなるユーザのコミュニケーションイベントに対し、評価データ値（Val）を付与する（1001d）。
（図９の例での、差の二乗値による評価データ値（Val）の算出例）
11.4 の二乗値 ＝130.0（ここでは例として小数第2位で四捨五入した値を用いる）
上記130.0が、（A）評価対象データ（ユーザAコミュニケーションイベント）に関する評価データ値（Val）として付与される。

図１０には、評価ステップS５ に含まれる、コミュニケーション総体への評価データ値（Val）付与（1002）のフローが例示的に示されている。前記（1001）で得たコミュニケーションイベント単位の評価データ値（Val）を用いて、下記の処理を実施する。
（１）コミュニケーション開始時点からコミュニケーション終了時点までに含まれる、評価対象ユーザのコミュニケーションイベントに関し、前記（1001）の手法でそれぞれ評価データ値（Val）を算出し、算出した評価データ値（Val）をコミュニケーション総体について合計する（1002a）。
（２）コミュニケーション開始時点からコミュニケーション終了時点までの、評価対象ユーザのコミュニケーションイベントの回数について、合計回数を算出する（1002b）。
（３）1002a で得た合計値を、1002b で得た合計回数の数で除算する（1002c）。
（４）1002cで得た除算の結果値をもって、ユーザAのコミュニケーション総体に関する評価データ値（Val）として付与する（1002d）。

図１１には、評価ステップS５ に含まれる、前記整理統合データ、前記差分データに基づく、評価データ値（Val）の算出（1010）の例が示されている。統合ステップS３、差分データ取得ステップS４ で、得たデータに基づき、評価対象ユーザのコミュニケーション総体について、予め決められた評価項目に関し、評価データ値（Val）を算出する。
算出される評価データ値（Val）の項目例として、下記のような項目が挙げられる。ここで算出する項目の選択や、その算出方法は、予め決められた業務目的に応じて最適な項目選択と算出方法を選択することが好ましい。
（a）会話時間合計
（a1）ユーザA発話時間 合計
（a2）相手（ユーザB）の発話時間 合計
（a3）ユーザAの傾聴時間 合計
（b）ユーザ別の発話時間合計と全体時間においてそれぞれが占める比率
（b1）ユーザAの発話が占める比率（a1）／（（a1）＋（a2））
（b2）ユーザBの発話が占める比率（a2）／（（a1）＋（a2））
（c）ユーザAの発話時間（a1）／ユーザBの発話時間（a2）
（d）ユーザAの傾聴時間比率（ユーザAの傾聴時間（a3）／発話時間合計（（a1）＋（a2））
（e）ユーザAのコミュニケーションイベント（発話）合計回数
（f）ユーザAが発した質問発話の回数
（g） 発話に占める質問比率 （ユーザA質問回数/ユーザAコミュニケーションイベント（発話）合計回数）
（h）相手ユーザとの発話速度の差 （※発話1文字あたりにかかった秒数）
（h1）ユーザA発話の平均速度
（h2）ユーザB発話の平均速度
（i）ユーザ別のポジティブ※表情平均（%）
（i1）ユーザAのポジティブ※表情平均（%）
（i2）ユーザBのポジティブ※表情平均（%）
（j）ユーザ別のネガティブ※表情平均（%）
（j1）ユーザAのネガティブ※表情平均（%）
（j2）ユーザBのネガティブ※表情平均（%）
（k）ユーザA発話時の、ユーザBのポジティブ※表情平均（%）
（l）ユーザA発話時の、ユーザBのネガティブ※表情平均（%）
（m）ユーザA傾聴時の、ユーザBのポジティブ※表情平均（%）
（n）ユーザA傾聴時の、ユーザBのネガティブ※表情平均（%）

図１２には、評価ステップS５ に含まれる、事後に得た業務結果に基づく評価データ値（Val）付与（1020）の例が示されている。コミュニケーション結果として、コミュニケーション総体の事後に得た、少なくとも一つ以上の業務結果からの評価データ値（Val）を付与する。コミュニケーション総体の結果として事後に得た業務結果は、例えば評価者により別途付与され、その評価データ値（Val）を用いる手法が含まれる。コミュニケーション総体の事後に得た業務結果とは、例として下記のような結果が含まれる。ここで用いる業務結果の選択や、その算出方法は、予め決められた業務目的に応じて最適な業務結果の選択とそれに応じた評価データ（Val）の定義、その定義に応じた評価データ（Val）の算出方法を選択することが好ましい。業務目的に応じて、複数の業務結果を用いることも好ましい。
・業務目的達成に向け、相手の満足度等が得られたか？
（例）企業の社内コミュニケーションにおいて、上司が部下とのコーチングコミュニケーションを行った結果として、同セッションに関し、上司が部下から得た事後評価等。
（例）研修でのロールプレイおいて、ロールプレイコミュニケーションを行った結果として、同セッションに関し、評価対象のユーザがロールプレイ相手から得た事後評価等。
・当初のコミュニケーション目的が達成されたか？
（例）小売店で、店員が顧客と商談コミュニケーションを行った結果として、該当顧客が商品を購入したか、していないかの結果等。
・業務目的達成に向け、必要な情報が得られたか？
（例）法人営業において、営業が法人顧客と商談コミュニケーションを行った結果として、法人顧客がもつニーズ、予算金額、決裁者、希望納期に関する情報が取得できたか等。
（図１２の例で用いられる、業務結果による評価データ値（Val）の付与例）
（例）会話相手（ユーザB）から得た、アンケート結果の評価を付与する。
コミュニケーション総体の事後に得た、ユーザBからのアンケート結果で、ユーザAのコミュニケーション総体に関する評価を得る。そのアンケート結果に基づき、ユーザBの満足度を下記算出式でNSAT（Net Satisfaction：満足度）として算出し、そのNSAT値をユーザAのコミュニケーション総体に関する評価データ値（Val）として付与する。
NSAT計算式※（例）： NSAT＝P − N＋100
P＝（最高評価（図12の例なら“５”）の回答数）／回答総数（図12の例なら、回答総数６を用いる）
（図12の例でのP算出例） P＝0／6＝0
N＝（最低と最低から2番目の評価（図12の例なら“１”と“２”）の回答数の和）／回答総数（図12の例なら、回答総数６を用いる）
（図12の例でのN算出例） N＝2／6＝0.33 （ここでは例として小数第3位で四捨五入した値を用いる）
（図12の例でのNSAT算出例） NSAT＝0−0.33＋100＝99.7（ここでは例として小数第2位で四捨五入した値を用いる）
※NSATの計算式は、上記例に限らず、アンケート結果の手法や項目数に応じて、最適な手法を用いることが好ましい。

業務上のコミュニケーション目的がある場合、該当するコミュニケーション目的が達成されたかの度合いに応じて、コミュニケーション総体の結果に対し評価がなされることが好ましい。そのため、本出願の方法において、コミュニケーション総体後に別途得た業務結果を評価要素の一つとして用いることで、業務上効果を上げるための観点で、評価対象ユーザのコミュニケーションスキルの改善に役立てることが出来る。一例として、コミュニケーションを終えた後に、相手ユーザが評価対象ユーザに対して提供する、コミュニケーション総体への評価または評価対象ユーザのコミュニケーションスキルに関する評価は、コミュニケーション改善に向けた客観的な視点を評価対象ユーザにもたらし、評価対象ユーザが自身のコミュニケーションスキルを改善する際、相手目線に沿った、本質的なコミュニケーション改善につなげることが可能となる。

図１３には、評価ステップS５ に含まれる、最終評価の付与のフローが例として示されている。このフローには下記手順が含まれる。
（１）
（１−１） 前記（1002、1010と1020）から得た評価データ値（Val）について、それに対応する、予め業務に沿い与えられた、評価基準値と評価テーブルに基づき、それぞれ評価値（T）を算出する（1030a）。
（１−２） 前記1030aで得た各分析項目の評価値（T）に、予め業務に沿い与えられた、評価データ値（Val）種類に対応する重み付け係数（W）を乗じて（掛けて）、評価値（Y）を算出する（1030b）。
（２）上記1030bで算出した評価値（Y）を前記の評価項目すべてについて合計して最終評価（Z）を算出し、評価対象ユーザのコミュニケーションスキル、あるいは、評価対象ユーザのコミュニケーション内容に関する評価結果として付与する（1040）。
上記の例であるように、予め決められた業務目的に応じて最適なかたちで選択された項目に関し、前記（1002、1010と1020）の手順で得た評価データ値（Val）を用い、それらに対応する評価テーブルを参照し、予め決められた業務目的に応じて定めた重み付け係数を用いて評価値（Y）を算出することで、より広範な観点に基づき、客観性が高く、業務目的に沿った評価を付与することが可能となる。結果として、評価対象ユーザが持つ業務の生産性を高めるかたちで、コミュニケーションスキルの改善を図ることが可能となる。ここで用いる評価基準値の選択、重み付け係数の値の選択、評価テーブルに含まれる値や尺度の構成、その算出方法は、予め決められた業務目的に応じて最適な評価基準値の選択、重み付け係数の値の選択、評価テーブルでの値や尺度の構成や算出方法を選択することが好ましい。

前記例の評価対象となるユーザのコミュニケーションスキルの変化を比較するため、該当ユーザについて、上記の最終評価（Z）を任意時点で複数回取得し、該当ユーザのコミュニケーションスキルに関する評価を時系列で比較することで、該当ユーザのコミュニケーションスキルの時間変化を評価することも好ましい。

前述の、複数時点でのユーザ評価データの比較では、評価対象ユーザが学習する、コミュニケーション改善手法に関する学習の結果について、改善する手法を学ぶ前の時点のコミュニケーション結果と、改善方法を学んだ後の時点のコミュニケーション結果を比較することで、評価対象ユーザがコミュニケーション改善手法を学習し、その手法を身に付けたかに関する度合いを可視化することが可能になる。例として、下記のような手法を用いて、より客観的かつ効果的なコミュニケーション評価の支援を行うことが可能である。
・複数のユーザの最終評価の比較により、予め決められた業務の観点で、コミュニケーションスキルの高い評価を事前に持つユーザと高い評価を持たないユーザについて、コミュニケーションスキルの比較を行い、高いコミュニケーション評価につながる差異要素を可視化することで、より具体的な観点で、高い評価を持つユーザのスキルを他方ユーザが取り入れることが可能となる。
・評価対象となるユーザについて、任意の知見によるコミュニケーション手法を学ぶ前のコミュニケーション評価（最終評価）と、前記知見によるコミュニケーション手法を学んだ後のコミュニケーション評価（最終評価）の比較により、該当ユーザが前記知見によるコミュニケーション手法を身に付けたかの度合いを可視化することができる。
・複数の任意コミュニケーション学習方法に関し、その効果の度合いをコミュニケーション学習方法ごとに可視化することで、より効果的なコミュニケーション学習方法を選択することが可能となる。そのために、該当する複数のコミュニケーション学習方法について、それを学ぶ複数ユーザについて学習前と学習後のコミュニケーション評価（最終評価）の変化を比較することで、どちらのコミュニケーション学習方法がユーザのコミュニケーションスキルを向上させたかの度合いを可視化し、活用することができる。上記例のように、本発明の枠組みを活用する手法は、予め決められた業務目的に応じて最適な手法を用いて、活用することが好ましい。

前記の例の通り、ユーザのコミュニケーションに関し、主にカメラ装置より得た映像データと、マイク装置より得た音声データから、それぞれに対応する人工知能技術を用いて解析し、その解析結果等に基づき、業務目的に応じた評価軸で分析し、コミュニケーションの評価を行う例を挙げた。前記例に限らず、ユーザのコミュニケーションからどのデータを選択し、収集と分析を行うかは、予め決められた業務目的に応じて最適なデータ選択とその収集を行い、それらのデータに応じた分析方法を選択することが好ましい。図１４には、コミュニケーション評価方法に活用可能なデータ項目の例が示されており、例として下記項目が含まれる。
（１）装置例としてカメラから得られるデータ項目例（視覚で得られるデータ項目例）：
・表情
・しぐさ（生理的なしぐさ）
・しぐさ（身振り手振り）
・目線の動き
・頭部の動き（うなずき、横振りなど）
・体の姿勢や手足の動き（例：手足の組み方、前のめり重心、後ろ重心）
・服装
（２）装置例としてマイクから得られるデータ項目例（聴覚で得られるデータ項目例）：
・声のトーン、高低
・声の音量
・発声リズム（スピード、呼吸）
・無音（傾聴、沈黙等）
・笑い、咳、嗚咽等の生理的現象
（３）装置例として温度センサー、振動センサーが含まれる装置（例：スマートフォン、装着型デバイス等）から得られるデータ項目例：
・温度（気温、体温など）
・揺れ（身体）
（４）装置例として、電子装置（例：本発明に含まれるデータ収集装置等）から得られるデータ項目例：
・時間情報（映像データ、音声データの収集時間等）

なお、上述した実施形態によれば、例えばデータ解析装置２は、データ取込ステップ、映像解析ステップ、音声解析ステップ、統合ステップ、差分データ取得ステップ、評価ステップ、及び出力ステップに対応するデータ取込機能、映像解析機能、音声解析機能、統合機能、差分データ取得機能、評価機能、及び出力機能を備えた評価装置としてもよい。また、コンピュータ、タブレット端末、FPGAのようなプログラマブルロジックデバイス装置などを、例えば上記評価装置等の情報端末における各手段として機能させる評価プログラムを含む装置としてもよい。

以上、図面から本発明の実施形態について説明した。なお、本発明は、上記の形態や業態のみに限定されるものではない。上記の形態から本件の発明者が自明な範囲で適宜変更する形態や業態での活用も含まれる。

１a…データ収集装置 １b…データ収集装置
２…データ解析装置 ３…カメラ
４…映像データ取込部 ５…映像データ処理部
６…映像データ蓄積部 ７…映像データ送信部
１０…マイク １１…音声データ取込部
１２…音声データ処理部 １３…音声データ蓄積部
１４…音声データ送信部 １５…データ収集時間記録部
２０…映像データ受信部 ２１…音声データ受信部
２２…映像データ解析部 ２３…AI呼出部
２４…解析命令及びデータ送信部 ２５…解析結果取得部
２６…取得データ分析部 ３０…音声データ解析部
３１…AI呼出部 ３２…解析命令及びデータ送信部
３３…解析結果取得部 ３４…取得データ分析部
４０…映像データ及び音声データ処理部
４１…映像データ及び音声データ解析部
４２…解析結果出力部 ４３…データ蓄積部
４４…表示装置
５０…AIプログラム解析部 ５１…AIプログラム映像解析部
５２…AIプログラム音声解析部
１００…コミュニケーションの評価システム
１０１…通信ネットワーク １０２…インターネット
１０３…データベース
２００〜２５０…データ取込みステップ
３０２〜３０６…映像解析ステップS１
３１０〜３１９…音声解析ステップS２
３３０…統合ステップS３
３３１…差分データ取得ステップS４
３３２…評価ステップS５
３４０…出力ステップS６
１０００…１０５０ 評価ステップS５に含まれるステップ

Claims (12)

1. ユーザ間におけるコミュニケーションの評価を支援する評価方法であって、コミュニケーションの映像データと音声データとを取り込むデータ取込ステップと、前記データ取込ステップにより取り込まれた前記映像データを、前記映像データに対応する人工知能技術を使って第１数値データに変換する映像解析ステップと、前記データ取込ステップにより取り込まれた前記音声データを、前記音声データに対応する人工知能技術を使ってテキストデータに変換し、前記テキストデータに対応する人工知能技術を使って前記テキストデータを第２数値データに変換する音声解析ステップと、前記第１数値データと前記テキストデータと前記第２数値データとを組み合わせて時系列に整理統合し、整理統合データを取得する統合ステップと、前記整理統合データから、異なる時間における相手ユーザの反応の差分に対応する差分データを取得する差分データ取得ステップと、業務上のコミュニケーション目的に沿い予め決められた評価軸を参照し、前記差分データに基づく前記コミュニケーションの内容の評価、及びユーザのコミュニケーションスキルの評価の少なくとも何れかを含む評価結果を算出する評価ステップと前記評価ステップで得た前記評価結果を出力する出力ステップとを備える評価方法。
2. 前記統合ステップは、前記整理統合データに基づき、ユーザが任意時点で行ったコミュニケーション行為を評価する最小単位としてコミュニケーションイベントを定めるステップと、前記ユーザそれぞれに異なる時点におけるコミュニケーションイベントを定めるステップと、前記コミュニケーションイベントに基づき、前記コミュニケーションの開始時点から終了時点までに含まれる前記コミュニケーションイベントを時系列にまとめ統合したデータを、コミュニケーション総体として定めるステップとを有する、請求項１に記載の評価方法。
3. 前記差分データ取得ステップは、前記コミュニケーションイベントごとに、前記相手ユーザの前記差分データを取得するステップを有する、請求項２に記載の評価方法。
4. 前記評価ステップは、前記整理統合データと前記差分データに基づき、前記ユーザごとに前記評価結果を算出するステップを有し、前記整理統合データと前記差分データに基づき、前記コミュニケーション総体の内容に関し前記評価結果を算出するステップを有する、請求項２に記載の評価方法。
5. 前記評価軸は、業務上与えられるコミュニケーション目的から規定される、コミュニケーションの評価基準を含み、前記評価ステップは、前記評価軸を参照して付与される、前記コミュニケーションイベントと前記コミュニケーション総体の少なくとも何れかへの評価値の付与、前記の業務上のコミュニケーション目的に沿い予め決められた分析項目に関する評価値の付与、及び、前記コミュニケーションの結果として得られた業務結果への評価値の付与、の少なくとも何れかを含み、前記評価結果を算出するステップを有する、請求項２に記載の評価方法。
6. ユーザ間におけるコミュニケーションの評価を支援する評価装置であって、コミュニケーションの映像データと音声データとを取り込むデータ取込機能と、前記データ取込機能により取り込まれた前記映像データを、前記映像データに対応する人工知能技術を使って第１数値データに変換する映像解析機能と、前記データ取込機能により取り込まれた前記音声データを、前記音声データに対応する人工知能技術を使ってテキストデータに変換し、前記テキストデータに対応する人工知能技術を使って前記テキストデータを第２数値データに変換する音声解析機能と、前記第１数値データと前記テキストデータと前記第２数値データとを組み合わせて時系列に整理統合し、整理統合データを取得する統合機能と、前記整理統合データから、異なる時間における相手ユーザの反応の差分に対応する差分データを取得する差分データ取得機能と、業務上のコミュニケーション目的に沿い予め決められた評価軸を参照し、前記差分データに基づく前記コミュニケーションの内容の評価、及びユーザのコミュニケーションスキルの評価の少なくとも何れかを含む評価結果を算出する評価機能と前記評価機能で得た前記評価結果を出力する出力機能とを備える評価装置。
7. 前記統合機能は、前記整理統合データに基づき、ユーザが任意時点で行ったコミュニケーション行為を評価する最小単位としてコミュニケーションイベントを定める機能と、前記ユーザそれぞれに異なる時点におけるコミュニケーションイベントを定める機能と、前記コミュニケーションイベントに基づき、前記コミュニケーションの開始時点から終了時点までに含まれる前記コミュニケーションイベントを時系列にまとめ統合したデータを、コミュニケーション総体として定める機能とを有する、請求項６に記載の評価装置。
8. 前記差分データ取得機能は、前記コミュニケーションイベントごとに、前記相手ユーザの前記差分データを取得する機能を有する、請求項７に記載の評価装置。
9. 前記評価機能は、前記整理統合データと前記差分データに基づき、前記ユーザごとに前記評価結果を算出する機能を有し、前記整理統合データと前記差分データに基づき、前記コミュニケーション総体の内容に関し前記評価結果を算出する機能を有する、請求項７に記載の評価装置。
10. 前記評価軸は、業務上与えられるコミュニケーション目的から規定される、コミュニケーションの評価基準を含み、前記評価機能は、前記評価軸を参照して付与される、前記コミュニケーションイベントと前記コミュニケーション総体の少なくとも何れかへの評価値の付与、前記の業務上のコミュニケーション目的に沿い予め決められた分析項目に関する評価値の付与、及び、前記コミュニケーションの結果として得られた業務結果への評価値の付与、の少なくとも何れかを含み、前記評価結果を算出する機能を有する、請求項７に記載の評価装置。
11. 情報端末に組み込むことにより、情報端末を請求項６から請求項１０のいずれか１項に記載の装置として制御および動作をさせる評価プログラム。
12. ユーザ間におけるコミュニケーションの評価を支援する評価システムであって、コミュニケーションの映像データと音声データとを取り込むデータ取込機能と、前記データ取込機能により取り込まれた前記映像データを、前記映像データに対応する人工知能技術を使って第１数値データに変換する映像解析機能と、前記データ取込機能により取り込まれた前記音声データを、前記音声データに対応する人工知能技術を使ってテキストデータに変換し、前記テキストデータに対応する人工知能技術を使って前記テキストデータを第２数値データに変換する音声解析機能と、前記第１数値データと前記テキストデータと前記第２数値データとを組み合わせて時系列に整理統合し、整理統合データを取得する統合機能と、前記整理統合データから、異なる時間における相手ユーザの反応の差分に対応する差分データを取得する差分データ取得機能と、業務上のコミュニケーション目的に沿い予め決められた評価軸を参照し、前記差分データに基づく前記コミュニケーションの内容の評価、及びユーザのコミュニケーションスキルの評価の少なくとも何れかを含む評価結果を算出する評価機能と前記評価機能で得た前記評価結果を出力する出力機能とを備える評価システム。