JP2019072371A - システム及び意思疎通を図るために行うアクションの評価方法 - Google Patents

Abstract

【課題】コミュニケーションにおいて、互いの共感度が高まり、心的状態が安定するアクションの学習を実現する。【解決手段】複数の対象物が意思疎通を図るために行うアクションを評価するシステムであって、複数の対象物から、対象物がアクションを行ったときの対象物の内部状態を評価する状態値の算出に用いる信号を取得し、信号を用いて状態値から構成される状態特徴量を算出し、状態特徴量に基づいて、複数の対象物の内部状態の類似性を視覚的に示すための評価空間における複数の対象物の内部状態の位置関係を表示するための表示情報を生成する。【選択図】 図１

Description

ヒトの心的状態の推定結果に基づいて行われるアクションを介したコミュニケーションの訓練を支援する技術に関する。

良好な人間関係を形成するためには、相手に共感する対人コミュニケーション能力（共感的コミュニケーション能力）が必要不可欠である。

ここで、対人コミュニケーションとは、相手の心的状態を推定し、推定結果に基づいてアクションを行うことによって意思、感情、及び思考を伝達することを表す。アクションは、言語、表情、及び仕草等を発する行為を表す。また、共感的コミュニケーションとは、相手と同一又は類似の心的状態の下で行われるコミュニケーションを表す。例えば、相手が悲しんでいる場合には悲しみ、相手が笑っている時は笑う行為が、共感的コミュニケーションである。

日常的な対人コミュニケーションを介して相手の身体的及び精神的な変化を察知することができるため、医療の場面においては病気予防等に活用できる。また、コミュニケーションロボットのようなＡＩを活用する場面においては、人間との共存を図るためにＡＩが高い対人コミュニケーション能力を持つことが望ましい。

前述したように、共感的コミュニケーションを行うためには相手の心的状態を推定する必要がある。しかし、相手が初対面のヒト又は感性が異なるヒトの場合、相手の心的状態を推定することが難しい。したがって、様々な相手と共感的コミュニケーションを行うための訓練及び支援を行うことが重要である。

共感的コミュニケーションの訓練及び支援を行うためには、相手の心的状態及びお互いの心的状態の関係を示す情報を提示することが有効である（例えば、特許文献１を参照）。

特許文献１には、「評価装置は、複数の被験者間のコミュニケーションにおける、被験者間の関係を評価する。非言語情報測定部は、複数の被験者それぞれの非言語情報を観測し、複数の被験者それぞれについて、非言語情報を数値化した時系列信号である第１信号を生成する。波形解析部は、複数の被験者それぞれについて得られた第１信号にもとづいて、複数の被験者それぞれの非言語情報のリズムとしての特性に関連する量である第２信号を生成する。関係評価部は、複数の被験者それぞれに対応する複数の第２信号の相対的な関係にもとづき、複数の被験者の間の関係にかかわる心的状態を示す指標である第３信号Ｓ３を生成する。」ことが記載されている。

国際公開第２０１４／０９１７６６号

特許文献１に記載の技術では、非言語情報を用いた統計処理等を実行することによって得られるリズム関連量の相対的な関係に基づいて、共感、信頼感等の複数人の心的状態を評価している。しかし、特許文献１には、一人一人の心的状態を評価する詳細な方法について言及していない。

複数人の心的状態を示す数値等の指標を表示しただけでは、自分とコミュニケーション相手との間の心的状態の具体的な関係を把握できない。そのため、ユーザはコミュニケーション相手との共感度を上げるためにどのようなアクションを行えばよいのかを判断できない。したがって、特許文献１のような従来技術をコミュニケーションの訓練に適用することが困難である。

本発明は共感的コミュニケーション能力を獲得するためのアクションの訓練に活用できる情報を提供するシステム及び方法を実現する。

本願において開示される発明の代表的な一例を示せば以下の通りである。すなわち、複数の対象物が意思疎通を図るために行うアクションを評価するシステムであって、前記システムは、演算装置、前記演算装置に接続される記憶装置、前記演算装置に接続されるインタフェースを有する、少なくとも一つの計算機を備え、前記少なくとも一つの計算機は、前記複数の対象物から、前記対象物が前記アクションを行ったときの前記対象物の内部状態を評価する状態値の算出に用いる信号を取得し、前記信号を用いて、前記状態値から構成される状態特徴量を算出し、前記状態特徴量に基づいて、前記複数の対象物の内部状態の類似性を視覚的に示すための評価空間における前記複数の対象物の内部状態の位置関係を表示するための表示情報を生成することを特徴とする。

本発明の一形態によれば、アクションを行った対象物の内部状態の類似性を視覚的に確認することによって、望ましいコミュニケーションを実現するためのアクションの学習を実現できる。上記した以外の課題、構成及び効果は、以下の実施例の説明により明らかにされる。

実施例１のコミュニケーション訓練システムの構成例を示す図である。 実施例１の生体信号管理情報のデータ構造の一例を示す図である。 実施例１の状態特徴量管理情報のデータ構造の一例を示す図である。 実施例１のモデルの一例を示す図である。 実施例１の計算機が実行する処理の一例を説明するフローチャートである。 実施例１の表示装置に表示される評価画面の一例を説明する図である。 実施例２の表示装置に表示される評価画面の一例を示す図である。 実施例３の計算機が実行する処理の一例を説明するフローチャートである。 実施例３の表示装置に表示される画面の一例を説明する図である。 実施例４の表示装置に表示される評価画面の一例を示す図である。 実施例５の計算機が実行する処理の一例を説明するフローチャートである。 実施例５の表示装置に表示される画面の一例を説明する図である。

以下、添付図面を参照して本発明の実施形態を説明する。本実施形態は本発明を実現するための一例に過ぎず、本発明の技術的範囲を限定するものではない。

まず、本明細書の用語について説明する。コミュニケーションとは、言語、文字、及び身振りを介して、互いに意思、感情、及び思考を伝達することを表す。本明細書では、意思等を伝達するために言語等を用いてコミュニケーションを行う相手に刺激を与える行為をアクションと記載する。アクションは、例えば、言語、表情、及び仕草等を発する行為である。

図１は、実施例１のコミュニケーション訓練システム１０の構成例を示す図である。

コミュニケーション訓練システム１０は、コミュニケーションの訓練を行う複数のヒト１０１−１、１０１−２の間で行われたアクション１０３を評価し、コミュニケーションの訓練に必要な情報を表示するシステムである。コミュニケーション訓練システム１０は、計算機１００及び表示装置１０２から構成される。以下の説明では、ヒト１０１−１、１０１−２を区別しない場合、ヒト１０１とも記載する。

共感的コミュニケーションにおけるアクション１０３の評価は、アクション１０３を行ったヒト１０１の心的状態の類似性に基づいて行われる。なぜならば、共感的コミュニケーションは、自分及び相手の心的状態が同一又は類似した状況下で行われるコミュニケーションだからである。訓練を行うヒト１０１は、類似する心的状態の下で行われたアクション１０３を学習することによって共感的コミュニケーション能力を獲得することができる。

計算機１００及び表示装置１０２は、直接又はネットワークを介して互いに接続される。ネットワークはＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）及びＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等である。

本実施例では、二人のヒト１０１のコミュニケーションの訓練を目的としているが、ヒト１０１及びＡＩのコミュニケーションの訓練が目的でもよい。この場合、ヒト１０１−１、１０１−２のいずれかがＡＩに置き換わる。また、三人以上のヒト１０１のコミュニケーションの訓練を目的としてもよい。

計算機１００は、コミュニケーション中にヒト１０１から生体信号を取得し、生体信号を用いて状態特徴量を算出する。ここで、状態特徴量は、アクション１０３を行ったヒト１０１の心的状態を評価する状態値から構成される。また、計算機１００は、状態特徴量を含むアクション１０３の訓練に必要な情報を表示するための表示情報を生成する。

なお、心的状態は、アクション１０３を行った動機及びアクション１０３の選択理由等、ヒト１０１がアクション１０３を制御するための一種の内部状態（パラメータ）を示すものである。

計算機１００は、演算装置１１０、主記憶装置１１１、副記憶装置１１２、入力インタフェース１１３、及び出力インタフェース１１４を有する。

演算装置１１０は、プロセッサ、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、及びＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の装置であり、主記憶装置１１１に格納されるプログラムを実行する。演算装置１１０がプログラムにしたがって処理を実行することによって、特定の機能を実現する機能部（モジュール）として動作する。以下の説明では、機能部を主語に処理を説明する場合、演算装置１１０が当該機能部を実現するプログラムを実行していることを示す。

主記憶装置１１１は、ＲＯＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の不揮発性の記憶素子又はＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）ＲＡＭ等の揮発性の記憶素子から構成されるメモリ等であり、演算装置１１０が実行するプログラム及びプログラムが使用する情報を格納する。本実施例では、主記憶装置１１１にプログラムが格納され、また、後述する副記憶装置１１２にプログラムが使用する情報が格納される。主記憶装置１１１に格納されるプログラムについては後述する。

副記憶装置１１２は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）及びＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の大容量かつ不揮発性の記憶装置である。副記憶装置１１２に格納される情報については後述する。

なお、主記憶装置１１１に格納されるプログラム及び情報は、副記憶装置１１２に格納されてもよい。この場合、演算装置１１０は、副記憶装置１１２からプログラム及び情報を読み出し、主記憶装置１１１にロードする。また、演算装置１１０は、主記憶装置１１１にロードされたプログラムを実行する。

入力インタフェース１１３は、ヒト１０１から生体信号を取得するデバイスである。入力インタフェース１１３は、例えば、マイク、カメラ、デプスセンサ（距離センサ）、視線入力センサ、脈波センサ、体温センサ、心電センサ、及びＮＩＲＳ（Ｎｅａｒ Ｉｎｆｒａｒｅｄ Ｓｐｅｃｔｒｏｓｃｏｐｙ）脳計測装置等を含む。

出力インタフェース１１４は、各種情報を出力するデバイスであり、例えば、所定のプロトコルにしたがって画面情報を送信するインタフェースである。なお、出力インタフェース１１４は、ネットワークインタフェースでもよい。

ここで、主記憶装置１１１に格納されるプログラム、及び、副記憶装置１１２に格納される情報について説明する。

副記憶装置１１２は、生体信号管理情報１３１、状態特徴量管理情報１３２、及びモデル管理情報１３３を格納する。

生体信号管理情報１３１は、ヒト１０１から取得された生体信号を管理するための情報である。生体信号管理情報１３１の詳細は図２を用いて説明する。

状態特徴量管理情報１３２は、生体信号を用いて算出された状態特徴量を管理するための情報である。状態特徴量管理情報１３２の詳細は図３を用いて説明する。

モデル管理情報１３３は、アクション１０３を行ったヒト１０１の心的状態の類似性を視覚的に表示するために用いられるモデルを管理するための情報である。モデル管理情報１３３には、例えば、ラッセルの感情円環モデルに関する情報が格納される。なお、モデル管理情報１３３には、複数のモデルに関する情報が格納されてもよい。この場合、ヒト１０１が使用するモデルを指定する。

主記憶装置１１１は、データ格納部１２１、心的状態推定部１２２、及び表示情報生成部１２３を実現するプログラムを格納する。

データ格納部１２１は、入力インタフェース１１３を介して取得されたヒト１０１の生体信号を副記憶装置１１２に格納する。具体的には、データ格納部１２１は、ヒト１０１の生体信号を生体信号管理情報１３１に格納する。

心的状態推定部１２２は、ヒト１０１の心的状態を推定する。具体的には、心的状態推定部１２２は、生体信号管理情報１３１に格納される生体信号を用いて、心的状態を特徴づける状態特徴量を算出し、状態特徴量管理情報１３２に算出された状態特徴量を格納する。また、心的状態推定部１２２は、状態特徴量に基づいてヒト１０１の心的状態の類似性を示す共感度を算出する。

表示情報生成部１２３は、ヒト１０１の心的状態の類似性を視覚的に表示するための評価空間における心的状態の位置関係等、コミュニケーションの訓練に必要な情報を表示するための表示情報を生成する。ここで、モデル管理情報１３３に基づいて管理される評価空間は、状態特徴量を構成する状態値に対応する座標軸が定義された座標空間である。

なお、図１では物理的な計算機として計算機１００を表しているが、仮想的な計算機でもよい。また、計算機が有する各機能部（モジュール）については、複数の機能部を一つの機能部にまとめてもよいし、一つの機能部を機能毎に複数の機能部に分けてもよい。

図２は、実施例１の生体信号管理情報１３１のデータ構造の一例を示す図である。

生体信号管理情報１３１は、ヒト１０１毎に生体信号の時系列データを格納する管理表２００を含む。図２に示す生体信号管理情報１３１は、ヒト１０１−１の生体信号を格納する管理表２００−１及びヒト１０１−２の生体信号を格納する管理表２００−２を含む。なお、管理表２００にはヒト１０１の識別情報が付与される。

管理表２００は、日時２０１、心拍数２０２、声量２０３、脳波２０４、顔特徴量２０５、及び皮膚抵抗２０６から構成されるエントリを含む。一つのタイムスタンプに対して一つのエントリが存在する。管理表２００には日時順にエントリが格納される。

日時２０１は、生体信号が計測された日時（タイムスタンプ）を格納するフィールドである。心拍数２０２、声量２０３、脳波２０４、顔特徴量２０５、及び皮膚抵抗２０６は、生体信号の値を格納するフィールドである。

本実施例では、心拍数、声量、脳波、表情、皮膚抵抗が生体信号として取得されるものとする。なお、前述の生体信号は一例であってこれに限定されない。

ここで、本実施例の生体信号管理情報１３１の更新方法について説明する。

計算機１００のデータ格納部１２１は、入力インタフェース１１３を介してヒト１０１から生体信号を周期的に取得する。生体信号にはタイムスタンプが含まれるものとする。また、生体信号にはヒト１０１の識別情報が付与されているものとする。

なお、本発明は、生体信号を取得するタイミングに限定されない。例えば、イベントが発生した場合に生体信号が取得されてもよい。また、各ヒト１０１から生体信号を取得するタイミングは同一でもよいし、また、異なっていてもよい。本実施例では、各ヒト１０１から生体信号を取得するタイミングは同一であるものとする。

データ格納部１２１は、ヒト１０１の識別情報に対応する管理表２００を検索する。ヒト１０１の識別情報に対応する管理表２００が存在しない場合には、データ格納部１２１は、新たに管理表２００を生成する。

データ格納部１２１は、管理表２００にエントリを追加し、追加されたエントリの日時２０１にタイムスタンプを設定する。また、データ格納部１２１は、追加されたエントリの心拍数２０２、声量２０３、脳波２０４、顔特徴量２０５、及び皮膚抵抗２０６に生体信号の値を設定する。

生体信号管理情報１３１は、生体信号の値そのものを格納するだけではなく、画像等の生体信号から抽出された顔特徴量の相対座標値等を格納してもよい。

図３は、実施例１の状態特徴量管理情報１３２のデータ構造の一例を示す図である。図４は、実施例１のモデルの一例を示す図である。

状態特徴量管理情報１３２は、ヒト１０１毎に状態特徴量の時系列データを格納する管理表３００を含む。図３に示す状態特徴量管理情報１３２は、ヒト１０１−１の状態特徴量の時系列データを格納する管理表３００−１を含む。なお、管理表３００にはヒト１０１の識別情報が付与される。

管理表３００は、日時３０１、快−不快３０２、覚醒−眠気３０３、喜３０４、怒３０５、哀３０６、楽３０７、及びリラックス度３０８から構成されるエントリを含む。一つのタイムスタンプに対して一つのエントリが存在する。

日時３０１は、日時２０１と同一のフィールドである。快−不快３０２、覚醒−眠気３０３、喜３０４、怒３０５、哀３０６、楽３０７、及びリラックス度３０８は、状態特徴量を構成する要素である状態値を格納するフィールドである。状態値は評価空間（モデル）毎に異なる。本実施例では各評価空間に対応する状態値が算出される。なお、図３に示す状態特徴量は一例であってこれに限定されない。

本実施例では、状態値と生体信号との間の関係が数式等を用いて定義される。当該定義の情報は、例えば、モデル管理情報１３３に格納される。なお、全て又は一部の状態値が生体信号そのものの値として定義されてもよい。

感情及び情動等のような客観的な評価が困難な心的状態を推定する方法が様々考案されている。図４では、心的状態を客観的に示すモデルの一つであるラッセルの感情円環モデルを示す。感情円環モデルでは、全ての心的状態（感情）は、「快−不快」及び「覚醒−眠気」の二軸からなる二次元平面上に円環状に並んでいるものと定義される。

ラッセルの感情円環モデルを用いた場合、脈波は「快−不快」の軸と対応づけることができると考えられ、脈波が小さい場合、不快であることを示し、脈波が大きい場合、快適であることを示すとされる。また、脳波は「覚醒−眠気」の軸に対応づけることができると考えられ、脳波が大きいほど覚醒していることを示すとされている。

図５は、実施例１の計算機１００が実行する処理の一例を説明するフローチャートである。図６は、実施例１の表示装置１０２に表示される評価画面６００の一例を説明する図である。

計算機１００は、コミュニケーションが開始された場合、以下の処理を開始する。ここでは、計算機１００には使用するモデルが入力されているものとする。なお、入力するモデルは、ランダムに選択されていてもよいし、アクション１０３を評価するヒト１０１が選択してもよい。

心的状態推定部１２２は、コミュニケーションが終了したか否かを判定する（ステップＳ５０１）。

例えば、心的状態推定部１２２は、終了を知らせる通知を受け付けた場合、コミュニケーションが終了したと判定する。また、心的状態推定部１２２は、生体信号管理情報１３１を監視し、一定期間、当該情報が更新されていない場合、コミュニケーションが終了したと判定する。

コミュニケーションが終了したと判定された場合、心的状態推定部１２２は、処理を終了する。

コミュニケーションが終了していないと判定された場合、心的状態推定部１２２は、表示情報の生成処理の実行契機を検出したか否かを判定する（ステップＳ５０２）。

例えば、心的状態推定部１２２は、表示要求を受け付けた場合、表示情報の生成処理の実行契機を検出したと判定する。また、心的状態推定部１２２は、予め設定された実行周期を経過した場合、表示情報の生成処理の実行契機を検出したと判定してもよい。

表示情報の生成処理の実行契機を検出していないと判定された場合、心的状態推定部１２２は、待ち状態に移行し、一定期間経過した後にステップＳ５０１に戻る。

表示情報の生成処理の実行契機を検出したと判定された場合、心的状態推定部１２２は、生体信号管理情報１３１から生体信号の時系列データを読み出し、読み出された生体信号の時系列データを用いて状態特徴量を算出する（ステップＳ５０３）。具体的には、以下のような処理が実行される。

（１）心的状態推定部１２２は、生体信号管理情報１３１に含まれる管理表２００の中からターゲット管理表２００を選択する。心的状態推定部１２２は、状態特徴量管理情報１３２にターゲット管理表２００に対応する管理表３００を生成する。

（２）心的状態推定部１２２は、ターゲット管理表２００に含まれるエントリの中からターゲットエントリを選択する。本実施例では、日時が最新であるエントリがターゲットエントリとして選択される。心的状態推定部１２２は、管理表３００にターゲットエントリに対応するエントリを追加する。心的状態推定部１２２は、追加された行の日時３０１にターゲットエントリの日時２０１に格納されるタイムスタンプを設定する。

（３）心的状態推定部１２２は、状態値を算出するための数式にターゲットエントリに設定された生体信号の値を代入することによって状態値を算出する。心的状態推定部１２２は、追加されたエントリに算出された状態値を設定する。基本的には、指定されたモデルに関連する状態値のみが算出される。なお、全てのモデルに関連する状態値が算出されてもよい。本実施例では、全てのモデルに関連する状態値が算出されるものとする。

心的状態推定部１２２は、管理表２００に含まれる全てのエントリに（２）から（３）までの処理を実行する。また、心的状態推定部１２２は、全ての管理表２００に対して（１）から（３）までの処理を実行する。

前述した処理では、タイムスタンプが最新の生体信号の値、すなわち、最新の時系列データを用いて状態値を算出しているが別の算出方法でもよい。

（算出方法のバリエーション１）例えば、心的状態推定部１２２は、式（１）に示すように、過去の状態値（複数の時系列データ）を加味した状態値を算出してもよい。例えば、現在時刻から３０秒前までの時系列データを用いて状態値が算出される。

ここで、数式について説明する。

ｍはヒト１０１を識別する添え字である。ｉは状態特徴量を構成する要素の種別、すなわち、状態値の種別を表す添え字である。本実施例では、ｉが「１」の場合「快−不快」を表し、ｉが「２」の場合「覚醒−眠気」を表し、ｉが「３」の場合「喜」を表し、ｉが「４」の場合「怒」を表し、ｉが「５」の場合「哀」を表し、ｉが「６」の場合「楽」を表し、ｉが「７」の場合「リラックス度」を表す。

ｎは管理表２００におけるターゲットエントリの順番を表す添字である。ｊは加味する過去の状態値の数、すなわち、エントリの数を表す添字である。ｖ^ｉ _ｍ（ｎ）は、ヒト１０１−ｍに対応する管理表２００のｎ番目のエントリに設定された要素ｉの状態値を表す。より具体的には、ｖ^ｉ _１（ｎ）はヒト１０１−１のｎ番目のエントリに設定された要素ｉの状態値を表す。ｖ^ｉ _２（ｎ）はヒト１０１−２のｎ番目のエントリに設定された要素ｉの状態値を表す。図２に示す例では、ｖ^２ _１（２）は、「８５」である。

Ｖ^ｉ _ｍ（ｎ）は補正後の要素ｉの状態値を表す。ｗ_ｊは重みを表し、０から１の間の値である。Ｖ^ｉ _ｍ（ｎ−ｊ）は、ターゲットエントリのｊ個前のエントリに設定された要素ｉの状態値を表す。本実施例では、Ｊ個前までの状態特徴量を加味してターゲットエントリの要素ｉの状態値が算出される。以上が数式の説明である。

なお、リアルタイムな処理ではなく、過去の生体信号の履歴を用いた分析処理等が実行される場合、心的状態推定部１２２は、対象の時刻に、当該時刻より先の時刻の心的状態（未来の心的状態）を加味して補正された状態値を算出してもよい。

（算出方法のバリエーション２）心的状態推定部１２２は、式（２）に示すように、コミュニケーション相手の状態値（複数の時系列データ）を加味した状態値を算出してもよい。

ｗ’_ｋは重みを表し、０から１の間である。Ｖ’^ｉ _ｍ（ｎ−ｋ）は、ターゲットエントリに対応する、コミュニケーション相手に対応する管理表３００のｎ番目のエントリのｋ個前の要素ｉの状態値を表す。

現在から時刻が遠い状態値の影響を小さくする場合、ｗ_ｊはｊが大きいほど小さい値を設定し、また、ｗ’_ｋは、ｋが大きいほど小さい値を設定すればよい。

式（１）又は式（２）に基づいて算出された状態値は管理表３００とは別の表に格納されてもよい。

なお、本実施例では、表示情報の生成処理の実行契機が検出された場合に、状態特徴量の算出を行っているがこれに限定されない。生体信号を取得した場合に、状態対特徴量が算出されてもよい。これによって、表示情報の生成処理の処理速度を向上させることができる。以上がステップＳ５０３の処理の説明である。

次に、心的状態推定部１２２は、状態特徴量及びモデル管理情報１３３に基づいて共感度を算出する（ステップＳ５０４）。

心的状態推定部１２２は、例えば、式（３）を用いて共感度を算出する。なお、Ｌ（ｎ）は式（４）で定義される。

Ｉは評価空間に定義された座標軸の種別である。例えば、ラッセルの感情円環モデルに対応する評価空間の場合、Ｉが「１」は「快−不快」を表し、Ｉ＝「２」は「覚醒−眠気」を表す。Ｌｍａｘは距離の最大値を表す。Ｌｍａｘは予め設定されている。Ｅ（ｎ）は管理表２００のｎ行目に対応する日時における共感度を表す。Ｌ（ｎ）は管理表２００のｎ行目に対応する日時における、評価空間のヒト１０１の心的状態のユークリッド距離を表す。式（３）に示すように、評価空間における心的状態の距離が短いほど、すなわち、心的状態が類似するほど共感度は大きくなる。

なお、心的状態推定部１２２は、距離又は共感度の大きさに基づいて、アクション１０３の妥当性を評価してもよい。例えば、心的状態推定部１２２は、距離が第１閾値より小さい場合「Ｐｅｒｆｅｃｔ」、第１閾値以上かつ第２閾値より小さい場合「ｅｘｃｅｌｌｅｎｔ」、第２閾値以上かつ第３閾値より小さい場合「ｇｏｏｄ」、第３閾値かつ第４閾値より小さい場合「ｆａｉｒ」、第４閾値以上の場合「ｐｏｏｒ」と判定する。

次に、表示情報生成部１２３は、表示情報を生成し、表示装置１０２に生成された表示情報を出力する（ステップＳ５０５）。その後、計算機１００は、ステップＳ５０１に戻り、同様の処理を実行する。ステップＳ５０５では、以下のような処理が実行される。

表示情報生成部１２３は、モデル管理情報１３３から評価空間の定義情報を取得し、評価空間上に心的状態（状態特徴量）をプロットしたグラフを表示するための第１表示データを生成する。第１表示データは、評価空間におけるヒト１０１の心的状態の位置関係を表示するための情報である。また、表示情報生成部１２３は、評価空間における心的状態の距離及び共感度を表示するための第２表示データを生成する。

表示情報生成部１２３は、第１表示データ及び第２表示データを含む表示情報を表示装置１０２に出力する。

なお、表示情報生成部１２３は、アクション１０３の妥当性の評価結果を表示する第３表示データを表示情報に含めてもよい。以上がステップＳ５０５の処理の説明である。

ここで、図６を用いて表示情報に基づいて表示装置１０２に表示される評価画面６００の一例を説明する。評価画面６００は、グラフ表示欄６０１、距離表示欄６０２、妥当性表示欄６０３、及び共感度表示欄６０４を含む。

グラフ表示欄６０１は評価空間におけるヒト１０１の心的状態の位置関係を示すグラフを表示する領域である。図６のグラフ表示欄６０１には、ラッセルの感情円環モデルに対応する評価空間に、ヒト１０１−１及びヒト１０１−２の心的状態を示す点６１１、６１２がプロットされたグラフが表示される。

距離表示欄６０２は、評価空間における心的状態の距離を表示する領域である。妥当性表示欄６０３は、アクション１０３の妥当性の評価結果を表示する領域である。共感度表示欄６０４は共感度を表示する領域である。

共感度表示欄６０４には、算出された共感度及び共感度の大きさを視覚的に示す図形が表示される。本実施例では、円形の図形が共感度表示欄６０４に表示される。共感度の大きさ及び円の大きさは比例する。

なお、図６に示す評価画面６００の画面構成及び表示方法は一例であってこれに限定されない。

実施例１では、ヒト１０１間のコミュニケーションを対象にしたシステムであるが、ヒト１０１の一方又は両方が、ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）でもよい。

ＡＩの場合、計算機１００は、アクションを制御するアルゴリズムにおいて定義されたパラメータの値を生体信号の代わりに取得すればよい。また、計算機１００は、パラメータの値を用いて、ＡＩの内部状態、すなわち、ＡＩの心的状態を算出する。

以上に示したように、実施例１によれば、ヒト１０１は、表示装置１０２に表示された評価画面６００を参照することによって、コミュニケーションにおける自分（ヒト又はＡＩ）と相手（ヒト又はＡＩ）との間の心的状態の類似性を評価空間の位置関係（距離）として把握できる。したがって、ヒト１０１は、評価空間の心的状態の距離が短くなるようなアクション１０３を集中的に学習できる。これによって、共感的コミュニケーション能力を効率的に獲得できる。

実施例２では、提示する評価空間が実施例１の評価空間と異なる。

実施例１では、指定されたモデルに対応する評価空間が用いられていた。しかし、扱う生体信号の種類が二つ以上の場合、評価空間の各座標軸と生体信号との間の関係を定義するのが難しい場合がある。また、モデルに依存した評価空間を用いた場合、一つの評価空間では共感度が高くなるが、一方の評価空間では共感度が低い場合がある。したがって、扱う評価空間によってアクション１０３の妥当性の判定結果が異なる可能性がある。

そこで、実施例２では、計算機１００は、特定の意味をなさない座標軸で定義された評価空間（距離空間）を用いて表示情報を生成する。ここで、距離空間は集合に含まれる任意の元に対して距離（距離関数）が定義された集合を示す。以下、実施例１との差異を中心に実施例２について説明する。

実施例２のシステム構成は実施例１のシステム構成と同一である。また、実施例２の計算機１００のハードウェア構成及びソフトウェア構成は実施例１と同一である。

実施例２の計算機１００が実行する処理は、実施例１の計算機が実行する処理と一部異なる。

ステップＳ５０３では、心的状態推定部１２２は、モデル管理情報１３３に登録されている全てのモデルに関する状態値を算出する。例えば、心的状態推定部１２２は、図２に示すような５種類の生体信号から図３に示すような７種類の状態値を算出する。

ステップＳ５０４では、心的状態推定部１２２は、全ての状態値を要素とするベクトルとして入力する関数を用いて心的状態の距離を算出する。数式としては式（４）に示す数式が考えられる。ただし、式（４）のＩは全ての評価空間の座標軸が対象となる。さらに、心的状態推定部１２２は、古典的多次元尺度法及び非計量的多次元尺度法等の公知の方法を用いて、算出された距離から二次元又は三次元の空間座標系を算出する。

古典的多次元尺度法について簡単に説明する。式（５）に示す距離行列Ｄ^（２）を、式（６）に示す座標行列Ｘを用いて式（７）に示すように表現する。ここで、距離行列Ｄ^（２）にヤングハウスホルダー変換を施し、固有値分解をすると式（８）のようになる。ここで、式（９）はＮ個の点の重心を原点とするｒ次元空間の座標値とみなせる。固有値λの大きい順に二個を選択し、対応する固有ベクトルＰの要素値が二次元空間の座標値となる。また、固有値λの大きい順に３個を選択し、対応する固有ベクトルＰの要素値が三次元空間の座標値となる。

実施例２のステップＳ５０１、ステップＳ５０２、及びステップＳ５０５の処理は、実施例１と同一の処理である。

図７は、実施例２の表示装置１０２に表示される評価画面６００の一例を示す図である。

評価画面６００のグラフ表示欄６０１には、三次元のユークリッド距離が定義された距離空間に心的状態を示す点７０１、７０２が距離関係を維持するようにプロットされる。エッジ７１１は、心的状態の距離を示す。

実施例２によれば、実施例１と同様の効果を奏する。また、実施例２では、モデルに依存しない評価空間上に心的状態の位置関係を表示することができるため、モデルの相違によるアクション１０３の妥当性の判定結果のブレを小さくできる。

実施例３では、共感度とは別に安定度を表示する点が実施例１と異なる。以下、実施例１との差異を中心に実施例３について説明する。

実施例３のシステム構成は実施例１のシステム構成と同一である。また、実施例３の計算機１００のハードウェア構成及びソフトウェア構成は、実施例１と同一である。

実施例３では、計算機１００が実行する処理が一部異なる。図８は、実施例３の計算機１００が実行する処理の一例を説明するフローチャートである。図９は、実施例３の表示装置１０２に表示される画面の一例を説明する図である。

ステップＳ５０１からステップＳ５０４までの処理は実施例１と同一である。

ステップＳ５０４の処理が実行された後、心的状態推定部１２２は、安定度を算出する（ステップＳ５１１）。具体的には、以下のような処理が実行される。

（１）心的状態推定部１２２は、状態特徴量管理情報１３２に含まれる管理表３００の中からターゲット管理表３００を選択する。

（２）心的状態推定部１２２は、ターゲット管理表３００に含まれるエントリの中からターゲットエントリを選択する。本実施例では、日時が新しい順に任意の数のターゲットエントリが選択される。

（３）心的状態推定部１２２は、任意の数式に基づいて安定度Ｓ_ｍ（ｎ）を算出する。例えば、式（１０）又は式（１１）を用いて安定度が算出される。なお、ｖ^ｉ _{ｍ＿ａｖｅ}（ｎ）は式（１２）で定義される。

次に、表示情報生成部１２３は、表示情報を生成し、表示装置１０２に生成された表示情報を出力する（ステップＳ５０５）。ステップＳ５０５では、安定度を表示するための第４表示データが生成される点が異なる。

図９に示すように、実施例３の評価画面６００には新たに安定度表示欄６０５が含まれる。安定度表示欄６０５は、ステップＳ５１１において算出された安定度を表示する領域である。

安定度は心的状態の変化量を表す指標である。したがって、安定度が小さい場合、アクション１０３が安定していることを示す。したがって、実施例３によれば、ヒト１０１は、安定度を参照することによって、コミュニケーションが安定しているか否かを判定できるため、安定したコミュニケーションを実現するアクション１０３を学習できる。

実施例４では、評価画面６００に心的状態の時間変化を表示する点が実施例１と異なる。以下、実施例１との差異を中心に実施例４について説明する。

実施例４のシステム構成は実施例１のシステム構成と同一である。また、実施例４の計算機１００のハードウェア構成及びソフトウェア構成は、実施例１と同一である。

実施例４では、予め、計算機１００に学習対象のヒト１０１を指定する。ここでは、ヒト１０１−１を学習対象のヒト１０１とする。

実施例４では、計算機１００が実行する処理が一部異なる。ステップＳ５０１からステップＳ５０４までの処理は実施例１と同一である。

ステップＳ５０５では、心的状態推定部１２２は、状態特徴量管理情報１３２から、ヒト１０１−２の過去の心的状態を示す状態特徴量の時系列データを取得する。心的状態推定部１２２は、取得した時系列データを用いて評価空間における心的状態の変化を表示するための第５表示データを生成する。

図１０は、実施例４の表示装置１０２に表示される評価画面６００の一例を示す図である。

評価画面６００のグラフ表示欄６０１に表示される評価空間には、ヒト１０１−１の現在の心的状態を示す点１０１１、ヒト１０１−２の現在の心的状態を示す点１０１２がプロットされる。また、評価空間には、ヒト１０１−２の過去の心的状態を示す点１０１３、１０１４、１０１５がプロットされる。なお、心的状態の変化が分かるように、心的状態の時間変化を示す経路、当該経路に囲まれる面積等を強調表示してもよい。

アクション１０３の妥当性を評価する場合、点１０１２と、各点１０１３、１０１４、１０１５との間の距離の平均値を用いればよい。

本実施例では、ヒト１０１−２の心的状態の時間変化をヒト１０１−１に提示しているが、ヒト１０１−１の心的状態の時間変化をヒト１０１−２に提示してもよい。

実施例４によれば、ヒト１０１−１は、図１０に示す評価画面６００を参照することによって心的状態の変遷を考慮したアクション１０３の学習が可能となる。例えば、ヒト１０１−２の脈波が時間とともに大きくなっている場合、ヒト１０１−２の現在の心的状態より生き生きとかつ興奮気味の心的状態に対応するアクション１０３を行うことによって共感度を高めることができる。また、ヒト１０１−２の心的状態の時間変化が大きい場合、安定したコミュニケーションが成り立っていないことを把握できる。

実施例５では、計算機１００がヒト１０１の将来の心的状態を予測し、ヒト１０１に表示する点が実施例１と異なる。以下、実施例１との差異を中心に実施例５について説明する。

実施例５のシステム構成は実施例１のシステム構成と同一である。また、実施例５の計算機１００のハードウェア構成及びソフトウェア構成は、実施例１と同一である。

実施例５では、予め、計算機１００に学習対象のヒト１０１を指定する。ここでは、ヒト１０１−１を学習対象のヒト１０１とする。

実施例５では、計算機１００が実行する処理が一部異なる。図１１は、実施例５の計算機１００が実行する処理の一例を説明するフローチャートである。図１２は、実施例５の表示装置１０２に表示される画面の一例を説明する図である。

ステップＳ５０１からステップＳ５０４までの処理は実施例１と同一である。

ステップＳ５０４の処理が実行された後、心的状態推定部１２２は、ヒト１０１−２の心的状態を予測する（ステップＳ５２１）。

例えば、心的状態推定部１２２は、式（１３）に示すような線形予測法を用いてヒト１０１−２の心的状態を予測する。

ここで、Ｖ^ｉ ₂（ｎ＋１）は次の取得周期の経過時のヒト１０１−２の心的状態の予測値である。α_ｊは予想係数であり、式（１４）を満たす。

次に、表示情報生成部１２３は、表示情報を生成し、表示装置１０２に生成された表示情報を出力する（ステップＳ５０５）。ステップＳ５０５では、ヒト１０１−２の心的状態の予測結果を表示するための第６表示データが生成される。

図１２に示すように、評価画面６００のグラフ表示欄６０１に表示される評価空間には、ヒト１０１−１の現在の心的状態を示す点１２１１、ヒト１０１−２の現在の心的状態を示す点１２１２がプロットされる。また、評価空間には、ヒト１０１−２の過去の心的状態を示す点１２１３、１２１４がプロットされる。本実施例では、点１２１４、点１２１３、及び点１２１２の順にヒト１０１−２の心的状態が変化したものとする。

また、グラフ表示欄６０１には、ヒト１０１−２の将来の心的状態の予測結果である予測領域１２２１が表示される。

実施例５によれば、ヒト１０１は、予測結果を参照することによって妥当なアクション１０３を事前に選択できる。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。また、例えば、上記した実施例は本発明を分かりやすく説明するために構成を詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、各実施例の構成の一部について、他の構成に追加、削除、置換することが可能である。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、本発明は、実施例の機能を実現するソフトウェアのプログラムコードによっても実現できる。この場合、プログラムコードを記録した記憶媒体をコンピュータに提供し、そのコンピュータが備えるプロセッサが記憶媒体に格納されたプログラムコードを読み出す。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施例の機能を実現することになり、そのプログラムコード自体、及びそれを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、光ディスク、光磁気ディスク、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどが用いられる。

また、本実施例に記載の機能を実現するプログラムコードは、例えば、アセンブラ、Ｃ／Ｃ＋＋、ｐｅｒｌ、Ｓｈｅｌｌ、ＰＨＰ、Ｊａｖａ（登録商標）等の広範囲のプログラム又はスクリプト言語で実装できる。

さらに、実施例の機能を実現するソフトウェアのプログラムコードを、ネットワークを介して配信することによって、それをコンピュータのハードディスクやメモリ等の記憶手段又はＣＤ−ＲＷ、ＣＤ−Ｒ等の記憶媒体に格納し、コンピュータが備えるプロセッサが当該記憶手段や当該記憶媒体に格納されたプログラムコードを読み出して実行するようにしてもよい。

上述の実施例において、制御線や情報線は、説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。全ての構成が相互に接続されていてもよい。

１０ コミュニケーション訓練システム
１００ 計算機
１０１ ヒト
１０２ 表示装置
１０３ アクション
１１０ 演算装置
１１１ 主記憶装置
１１２ 副記憶装置
１１３ 入力インタフェース
１１４ 出力インタフェース
１２１ データ格納部
１２２ 心的状態推定部
１２３ 表示情報生成部
１３１ 生体信号管理情報
１３２ 状態特徴量管理情報
１３３ モデル管理情報
６００ 評価画面
６０１ グラフ表示欄
６０２ 距離表示欄
６０３ 評価表示欄
６０４ 共感度表示欄
６０５ 安定度表示欄

Claims (14)

1. 複数の対象物が意思疎通を図るために行うアクションを評価するシステムであって、
   前記システムは、演算装置、前記演算装置に接続される記憶装置、前記演算装置に接続されるインタフェースを有する、少なくとも一つの計算機を備え、
   前記少なくとも一つの計算機は、
   前記複数の対象物から、前記対象物が前記アクションを行ったときの前記対象物の内部状態を評価する状態値の算出に用いる信号を取得し、
   前記信号を用いて、前記状態値から構成される状態特徴量を算出し、
   前記状態特徴量に基づいて、前記複数の対象物の内部状態の類似性を視覚的に示すための評価空間における前記複数の対象物の内部状態の位置関係を表示するための表示情報を生成することを特徴とするシステム。
2. 請求項１に記載のシステムであって、
   前記少なくとも一つの計算機は、
   前記状態値に対応する座標軸が定義された評価空間の情報であるモデルを管理するためのモデル管理情報を保持し、
   前記モデル管理情報に基づいて、第１評価空間の座標軸に対応する前記状態値から構成される前記状態特徴量を算出し、
   前記第１評価空間における前記複数の対象物の内部状態の距離を算出し、
   前記距離を含む前記表示情報を生成することを特徴とするシステム。
3. 請求項１に記載のシステムであって、
   前記少なくとも一つの計算機は、
   前記状態値に対応する座標軸が定義された評価空間の情報であるモデルを管理するためのモデル管理情報を保持し、
   前記モデル管理情報に基づいて、前記モデル管理情報を用いて管理される前記評価空間の各々の座標軸に対応する前記状態値から構成される前記状態特徴量を算出し、
   前記状態特徴量をベクトルとして入力する関数を用いて前記複数の対象物の内部状態の距離を算出し、
   前記評価空間として、前記距離を用いて距離空間を算出し、
   前記距離を含む前記表示情報を生成することを特徴とするシステム。
4. 請求項２又は請求項３に記載のシステムであって、
   前記少なくとも一つの計算機は、
   前記距離に基づいて、前記対象物の内部状態の類似性を示す共感度を算出し、
   前記共感度を含む前記表示情報を生成することを特徴とするシステム。
5. 請求項２又は請求項３に記載のシステムであって、
   前記少なくとも一つの計算機は、
   前記状態特徴量の算出履歴を保持し、
   前記状態特徴量の算出履歴に基づいて、前記対象物の前記状態特徴量の変化量を安定度として算出し、
   前記安定度を含む前記表示情報を生成することを特徴とするシステム。
6. 請求項２又は請求項３に記載のシステムであって、
   前記少なくとも一つの計算機は、
   前記距離に基づいて、前記アクションが妥当であるか否かを判定し、
   前記判定の結果を含む前記表示情報を生成することを特徴とするシステム。
7. 請求項２又は請求項３に記載のシステムであって、
   前記少なくとも一つの計算機は、
   前記状態特徴量の算出履歴を保持し、
   前記状態特徴量の算出履歴に基づいて、次回のアクションが行われた場合の前記対象物の状態特徴量を予測し、
   前記予測の結果を含む前記表示情報を生成することを特徴とするシステム。
8. 少なくとも一つの計算機を有するシステムが実行する複数の対象物が意思疎通を図るために行うアクションの評価方法であって、
   前記少なくとも一つの計算機は、演算装置、前記演算装置に接続される記憶装置、前記演算装置に接続されるインタフェースを有し、
   前記アクションの評価方法は、
   前記少なくとも一つの計算機が、前記複数の対象物から、前記対象物が前記アクションを行ったときの前記対象物の内部状態を評価する状態値の算出に用いる信号を取得する第１のステップと、
   前記少なくとも一つの計算機が、前記信号を用いて、前記状態値から構成される状態特徴量を算出する第２のステップと、
   前記少なくとも一つの計算機が、前記状態特徴量に基づいて、前記複数の対象物の内部状態の類似性を視覚的に示すための評価空間における前記複数の対象物の内部状態の位置関係を表示するための表示情報を生成する第３のステップと、を含むことを特徴とするアクションの評価方法。
9. 請求項８に記載のアクションの評価方法であって、
   前記少なくとも一つの計算機は、前記状態値に対応する座標軸が定義された評価空間の情報であるモデルを管理するためのモデル管理情報を保持し、
   前記第２のステップは、
   前記少なくとも一つの計算機が、前記モデル管理情報に基づいて、第１評価空間の座標軸に対応する前記状態値から構成される前記状態特徴量を算出するステップと、
   前記少なくとも一つの計算機が、前記第１評価空間における前記複数の対象物の内部状態の距離を算出するステップと、を含み、
   前記第３のステップは、前記少なくとも一つの計算機が、前記距離を含む前記表示情報を生成するステップを含むことを特徴とするアクションの評価方法。
10. 請求項８に記載のアクションの評価方法であって、
    前記少なくとも一つの計算機は、前記状態値に対応する座標軸が定義された評価空間の情報であるモデルを管理するためのモデル管理情報を保持し、
    前記第２のステップは、
    前記少なくとも一つの計算機が、前記モデル管理情報に基づいて、前記モデル管理情報を用いて管理される前記評価空間の各々の座標軸に対応する前記状態値から構成される前記状態特徴量を算出するステップと、
    前記少なくとも一つの計算機が、前記状態特徴量をベクトルとして入力する関数を用いて前記複数の対象物の内部状態の距離を算出するステップと、
    前記少なくとも一つの計算機が、前記評価空間として、前記距離を用いて距離空間を算出するステップと、を含み、
    前記第３のステップは、前記少なくとも一つの計算機が、前記距離を含む前記表示情報を生成するステップを含むことを特徴とするアクションの評価方法。
11. 請求項９又は請求項１０に記載のアクションの評価方法であって、
    前記少なくとも一つの計算機が、前記距離に基づいて、前記対象物の内部状態の類似性を示す共感度を算出するステップを含み、
    前記第３のステップは、前記少なくとも一つの計算機が、前記共感度を含む前記表示情報を生成するステップを含むことを特徴とするアクションの評価方法。
12. 請求項９又は請求項１０に記載のアクションの評価方法であって、
    前記少なくとも一つの計算機は、前記状態特徴量の算出履歴を保持し、
    前記アクションの評価方法は、
    前記少なくとも一つの計算機が、前記状態特徴量の算出履歴に基づいて、前記対象物の前記状態特徴量の変化量を安定度として算出するステップを含み、
    前記第３のステップは、前記少なくとも一つの計算機が、前記安定度を含む前記表示情報を生成するステップを含むことを特徴とするアクションの評価方法。
13. 請求項９又は請求項１０に記載のアクションの評価方法であって、
    前記少なくとも一つの計算機が、前記距離に基づいて、前記アクションが妥当であるか否かを判定するステップを含み、
    前記第３のステップは、前記少なくとも一つの計算機が、前記判定の結果を含む前記表示情報を生成するステップを含むことを特徴とするアクションの評価方法。
14. 請求項９又は請求項１０に記載のアクションの評価方法であって、
    前記少なくとも一つの計算機は、前記状態特徴量の算出履歴を保持し、
    前記アクションの評価方法は、
    前記少なくとも一つの計算機が、前記状態特徴量の算出履歴に基づいて、次回のアクションが行われ場合の前記対象物の状態特徴量を予測するステップを含み、
    前記第３のステップは、前記少なくとも一つの計算機が、前記予測の結果を含む前記表示情報を生成するステップを含むことを特徴とするアクションの評価方法。

Images