JP2017121286A - 情動推定システム、情動推定方法および情動推定プログラム - Google Patents

Abstract

【課題】感情の異常状態に応じた出力を行うことができる情動推定システム、情動推定方法および情動推定プログラムを提供する。【解決手段】情動推定システムは、取得部１３１と、分類部と、出力制御部１３７とを有する。取得部は、１のユーザについて継続的に計測された心拍間隔の情報を取得する。分類部は、取得された心拍間隔の情報を周波数解析した結果得られる値、および、取得された心拍間隔の情報に基づいて算出された予測心拍間隔と実際に得られた心拍間隔とのズレを示す値との比を示す値に基づいて、ユーザの感情を少なくとも２種類のいずれかに分類する。出力制御部は、分類された結果に応じて異なる出力を行う。【選択図】図１

Description

本発明は、情動推定システム、情動推定方法および情動推定プログラムに関する。

近年、セルフレジやＡＴＭ（Automated Teller Machine）等のように、対人業務において自動化が進められている。一方、自動化された装置が使いやすいとは限られず、例えば、ユーザがセルフレジで会計を行う場合に、操作が判らず困惑してしまう場合がある。このとき、ユーザは、会計を済ますという目的達成を妨げる原因が自分の外にあると考える場合には、例えばイライラするといったような外に向けた攻撃的感情が現れる。また、ユーザは、原因が自分の中にあると考える場合には、例えば不安や落ち込みといった感情が現れる。

また、装置を操作する場合の感情について、脈波や心拍といった生体情報を用いて検出することが提案されている。例えば、心拍数の変動が心理起因の変動か運動起因の変動であるかを判別し、ライフログ用途のためにカメラの撮像を制御することが提案されている。また、例えば、心拍の揺らぎを検出してゲームプレイ時のストレス状態を検出し、休憩を促すことが提案されている。

特開２０１２−１２０２０６号公報 特開２０１４−１４０５８７号公報 特開２００８−１０４５９６号公報 特表２０１１−５１７４１１号公報

しかしながら、心拍数は、運動を伴わない場合であっても生体が本来持つ心拍変動によって変化するので、ユーザが主観的感情を抱いたときに、心拍変動が安静時に元々ある変動であるか、感情による変動であるかの判定が困難である。

一つの側面では、本発明は、感情の異常状態に応じた出力を行うことができる情動推定システム、情動推定方法および情動推定プログラムを提供することにある。

一つの態様では、情動推定システムは、取得部と、分類部と、出力制御部とを有する。取得部は、１のユーザについて継続的に計測された心拍間隔の情報を取得する。分類部は、取得された前記心拍間隔の情報を周波数解析した結果得られる値、および、取得された前記心拍間隔の情報に基づいて算出された予測心拍間隔と実際に得られた心拍間隔とのズレを示す値との比を示す値に基づいて、前記ユーザの感情を少なくとも２種類のいずれかに分類する。出力制御部は、分類された結果に応じて異なる出力を行う。

感情の異常状態に応じた出力を行うことができる。

図１は、実施例１の情動推定システムの構成の一例を示すブロック図である。 図２は、感情評価の一例を示す図である。 図３は、心拍変動データの一例を示す図である。 図４は、心拍変動データの他の一例を示す図である。 図５は、心拍変動の周波数特性の一例を示す図である。 図６は、心拍変動の周波数特性の他の一例を示す図である。 図７は、第１の比および第２の比の一例を示す図である。 図８は、感情評価の他の一例を示す図である。 図９は、第１の比および第２の比の他の一例を示す図である。 図１０は、感情評価の他の一例を示す図である。 図１１は、実施例１の判定処理の一例を示すフローチャートである。 図１２は、実施例２の情動推定システムの構成の一例を示すブロック図である。 図１３は、心拍変動の周波数特性およびＬＳＰの一例を示す図である。 図１４は、心拍変動の周波数特性およびＬＳＰの他の一例を示す図である。 図１５は、心拍変動の周波数特性およびＬＳＰの他の一例を示す図である。 図１６は、実施例２の判定処理の一例を示すフローチャートである。 図１７は、実施例３の情動推定システムの構成の一例を示すブロック図である。 図１８は、ログデータの一例を示す図である。 図１９は、実施例３の判定処理の一例を示すフローチャートである。 図２０は、情動推定プログラムを実行するコンピュータの一例を示す図である。

以下、図面に基づいて、本願の開示する情動推定システム、情動推定方法および情動推定プログラムの実施例を詳細に説明する。なお、本実施例により、開示技術が限定されるものではない。また、以下の実施例は、矛盾しない範囲で適宜組みあわせてもよい。

図１は、実施例１の情動推定システムの構成の一例を示すブロック図である。図１に示す情動推定システム１は、感情評価装置１００を有する。情動推定システム１は、感情評価装置１００の他に、例えば、所定の装置、管理者端末およびサーバ装置等を含んでもよい。なお、所定の装置は、例えば、セルフレジやＡＴＭ等が挙げられる。

感情評価装置１００は、１のユーザについて継続的に計測された心拍間隔の情報を取得する。感情評価装置１００は、取得された心拍間隔の情報を周波数解析した結果得られる値、および、取得された心拍間隔の情報に基づいて算出された予測心拍間隔と実際に得られた心拍間隔とのズレを示す値との比を示す値に基づいて、ユーザの感情を少なくとも２種類のいずれかに分類する。感情評価装置１００は、分類された結果に応じて異なる出力を行う。これにより、感情評価装置１００は、感情の異常状態に応じた出力を行うことができる。

図１に示すように、感情評価装置１００は、心拍センサ１０１と、表示部１０２と、記憶部１２０と、制御部１３０とを有する。なお、感情評価装置１００は、図１に示す機能部以外にも既知のコンピュータが有する各種の機能部、例えば各種の入力デバイスや音声出力デバイス等の機能部を有することとしてもかまわない。

心拍センサ１０１は、ユーザの心拍信号を検出する。例えば、心拍センサ１０１は、ユーザに接触する電極により、ユーザの心拍信号を各電極の電位差から取得する。なお、心拍センサ１０１によって用いられる電極は、例えば、胸ベルトタイプのものや腕時計型の小型機器に埋め込まれた電極（両手に装着される）に対応する。心拍センサ１０１は、検出した心拍信号に基づいて心拍間隔の情報、つまり心拍変動データを継続的に計測する。心拍センサ１０１は、計測した心拍変動データを制御部１３０に出力する。なお、心拍変動データは、例えば、心拍の隣接する２つのＲ波の時間間隔とＲ波の検出時間とを対応づけたＲＲＩデータである。また、心拍センサ１０１は、一定時間ごとに心拍数を出力してもよい。この場合、心拍数は、６０／ＲＲＩという関係となる。

また、心拍センサ１０１は、例えば、ユーザの耳たぶ等の血流を光で計測し、脈波を取得するようにしてもよい。心拍センサ１０１の検出部は、脈波取得であれば光学式となり、腕時計タイプやリストバンドタイプ（反射型）、イヤクリップ型（反射型、透過型）等を用いることができる。さらに、心拍センサ１０１は、例えば、赤外線カメラを用いてユーザの顔面の赤外反射に基づいて、脈波を取得するようにしてもよい。また、心拍センサ１０１は、例えば、ミリ波センサを用いて脈波を取得するようにしてもよい。これらの場合、心拍センサ１０１は、脈波に基づいて計測した心拍変動データを制御部１３０に出力する。

ここで、心拍変動データと感情評価とについて説明する。まず、心拍変動の原理と自律神経バランスについて説明する。東北大学吉澤らの『生理的パラメータの相互相関を用いた映像の生体影響評価法』(BME,Vol.18,No.1,pp.8-13（March 2004）)（以下、非特許文献１という。）によれば、心拍が変動する要因として次の２つがある。１つ目は、呼吸によるヘモグロビン変動を要因とした揺らぎで、４秒より早い周期である。２つ目は、血圧変動によるもので概ね１０秒周期（Ｍａｙｅｒ波）である。

この揺らぎ制御信号を伝える自律神経には、交感神経はおおむね０．１５Ｈｚ以下を通すローパスの伝達特性である点、および、副交感神経は全域透過の伝達特性である点といった性質がある。すなわち、交感神経優位の状態では、揺らぎ成分は低域成分（ＬＦ成分）しか現れない。逆に副交感神経優位な状態では、低域成分（ＬＦ成分）も高域成分（ＨＦ成分）も現れることになる。この原理に着目した測定器は、心拍間隔を一定時間（２分から５分）計測し、その変動を構成する周波数成分を解析したうえでＬＦ成分／ＨＦ成分比を用いて、安静時における交感神経活動と副交感神経活動のバランスを計測する。

本願では、この揺らぎ成分の周波数解析の際に用いる手法の１つとして自己回帰型（ＡＲ)モデルによる線形予測手法を用いる。本手法の要点は、１つ目として、安静時の心拍変動は、過去の系列から線形予測モデルにて予測ができる。また、定常でない変動成分は、その予測モデルからの外れであり、残留誤差とＬＦ成分とで判明する。２つ目として、ユーザ、つまり検出対象の感情は、定常でない心拍変動成分とストレス度との２軸平面上にマッピングされる。

次に、ＡＲモデルによる心拍変動のスペクトル解析について説明する。ＡＲモデルを使ったスペクトル解析では、ＬＦ成分およびＨＦ成分を見る手法が知られている。ＡＲモデルは、次の式（１）で表される。

式（１）は、現サンプルＸ_ｓを、過去のＭ個の系列Ｘ_ｓ−１，Ｘ_ｓ−２，・・・，Ｘ_ｓ−Ｍから線形予測することを意味する。ａ_１，ａ_２，・・・，ａ_Ｍは、重み係数である。ε_ｓは観察誤差、つまり残留誤差であり、予測からの外れを意味する。ユーザは、例えば機械操作に困るとストレスがかかった状態となり、ＨＦ成分は低下した状態となる。このとき、ユーザは、怒りやイライラの感情が加わると、心拍や血圧が押し上げられる。これらの感情を判別するには、安静時における心拍変動の予測モデル（ＡＲモデル）からの「外れ」を見れば検出することができる。

ＡＲモデルでは、非定常な心拍変動が入った時には、残留誤差が増加する。また、ＡＲモデルでは、心拍または血圧が上昇した時には、血圧変動と心拍変動との相関が低下しＬＦ成分が低下する。非特許文献１では、Ｍａｙｅｒ波が明確に現われるのは安静時であり、強い情動反応が生じた場合等のように、血圧に依存しない心拍数の変動や、心拍数に依存しない血圧変動が生じる場合には、Ｍａｙｅｒ波帯域における両者の関係性が薄れることが示唆されている。なお、Ｍａｙｅｒ波帯域は、ＬＦと同義である。これらのことから、ＡＲモデルからの外れは、残留誤差とＬＦ成分とに着目することで得られる。

続いて、ＡＲモデルを用いたスペクトル解析に基づく感情評価について説明する。当該感情評価では、２つの評価量を用いて２軸のグラフを生成する。評価量の１つ目は、ＬＦ成分／ＨＦ成分の比であり、ストレスを意味する。評価量の２つ目は、ＬＦ成分／残留誤差の比であり、定常でない変動成分があると低下する評価値である。ＬＦ成分は、血圧変動成分が周期的か否かを表すもので、突発的な血圧変動があると低下する。残留誤差は、ＡＲモデルによる線形予測が当たっているか否かを表すもので、予測が外れると増加する。従って、２つ目の評価量であるＬＦ成分／残留誤差の比は、ＬＦ成分が低下するか、残留誤差が増加すると値としては小さくなり、定常性が低くなることを示す。グラフでは、ＬＦ成分／ＨＦ成分の比をストレス度としてｙ軸にとり、ＬＦ成分／残留誤差の比を定常性としてｘ軸にとる。

図２は、感情評価の一例を示す図である。図２に示すグラフでは、例えば、Ａさんのように、定常性が高くストレスが低いとなった場合、Ａさんに対応するグラフ上の点が領域２１に存在する。領域２１は、リラックスして機械を操作している場合の感情を示す。つまり、Ａさんは、リラックスな感情と相関が高い状態である。また、Ｂさんのように、定常性が高くストレスが高いとなった場合、Ｂさんに対応するグラフ上の点が領域２２に存在する。領域２２は、不安を抱えてスムーズに機械の操作が進んでいない場合の感情を示す。つまり、Ｂさんは、不安な感情と相関が高い状態である。さらに、Ｃさんのように、定常性が低くストレスが高いとなった場合、Ｃさんに対応するグラフ上の点が領域２３に存在する。領域２３は、イライラのような強い感情（情動）が生じており、場合によっては操作が粗暴になっているような状態を示す。つまり、Ｃさんは、イライラとした感情と相関が高い状態である。なお、本願では、不安やイライラの感情の状態を、感情の異常状態ともいう。

図３は、心拍変動データの一例を示す図である。図３に示すグラフは、ユーザに課題タスクを与えた場合における心拍変動データの一例である。図３に示すグラフは、課題タスクの間に怒りの表情が見られたユーザの心拍変動データである。

図４は、心拍変動データの他の一例を示す図である。図４に示すグラフは、ユーザに課題タスクを与えた場合における心拍変動データの他の一例である。図４に示すグラフは、課題タスクの間に不安の表情が見られたユーザの心拍変動データである。図３および図４のグラフを比較すると、図４に示す不安の表情が見られたユーザのグラフの方が、心拍変動が少なくなっている。一方、図３に示す怒りの表情が見られたユーザのグラフでは、心拍変動が定常的な箇所と突発的な箇所とがあり、かつ、その変化の幅が大きいことがわかる。

図１の説明に戻って、表示部１０２は、ユーザの感情が分類された結果に応じて異なる出力を行う表示デバイスである。表示部１０２は、例えば、表示デバイスとして複数の色のランプを有する表示器等によって実現される。表示部１０２は、制御部１３０から入力された出力情報に応じた表示を行う。また、表示部１０２は、例えば、表示デバイスとして液晶ディスプレイ等によって実現されてもよい。この場合には、表示部１０２は、ユーザの感情が分類された結果、つまり判定結果の推移を示す情報を表示する。

記憶部１２０は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、ハードディスクや光ディスク等の記憶装置によって実現される。記憶部１２０は、制御部１３０での処理に用いる情報、例えば、心拍変動データ等を記憶する。

制御部１３０は、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、内部の記憶装置に記憶されているプログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現されるようにしてもよい。

制御部１３０は、取得部１３１と、予測部１３２と、予測誤差算出部１３３と、第１利得算出部１３４と、第２利得算出部１３５と、判定部１３６と、出力制御部１３７とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部１３０の内部構成は、図１に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。また、予測部１３２と、予測誤差算出部１３３と、第１利得算出部１３４と、第２利得算出部１３５と、判定部１３６とは、統合して分類部としてもよい。分類部は、取得された心拍間隔の情報を周波数解析した結果、および、取得された心拍間隔の情報に基づいて算出された予測心拍間隔と、実際に得られた心拍間隔とのズレを示す値との比を示す値に基づいて、ユーザの感情を少なくとも２種類のいずれかに分類する。

取得部１３１は、心拍センサ１０１から心拍変動データが入力されると、入力された心拍変動データを取得する。すなわち、取得部１３１は、１のユーザについて継続的に計測された心拍間隔の情報を取得する。取得部１３１は、取得した心拍変動データを予測部１３２に出力する。なお、取得部１３１は、心拍センサ１０１から継続的に心拍変動データが入力されるので、心拍変動データの取得および出力も継続して行う。また、取得される心拍変動データは、例えば連続して１分程度以上取得されたものが好ましいが、例えば連続して３０秒程度以上取得されたものであってもよい。ただし、ユーザが装置の操作に戸惑う場合には、それなりに長い時間操作すると考えられるので、運用上では心拍変動データの連続した１分間の取得は問題とならないと考えられる。

予測部１３２は、取得部１３１から心拍変動データが入力されると、入力された心拍変動データに対してＡＲモデルを用いて周波数解析を行って、現在の心拍数を予測する予測係数を算出する。すなわち、予測部１３２は、過去の心拍変動データに基づいて、心拍変動データを予測する。予測部１３２は、上述の式（１）を用い、適する次数は、例えば１０次から１６次として周波数解析を行う。なお、予測部１３２は、ＡＩＣ（赤池情報量基準）を用いて次数を得てもよい。予測部１３２は、次数の数の係数を予測係数として算出する。予測部１３２は、予測係数を含む周波数解析の結果を予測誤差算出部１３３、第１利得算出部１３４および第２利得算出部１３５に出力する。なお、予測部１３２は、取得部１３１から心拍変動データが継続的に入力されると、予測係数を含む周波数解析の結果の出力も継続して行う。

予測誤差算出部１３３は、予測部１３２から周波数解析の結果が入力されると、予測係数における予測誤差パワーを算出する。すなわち、予測誤差算出部１３３は、予測係数における残留誤差の二乗和Σε^２を算出する。なお、予測誤差パワーの算出は、Ｌｅｖｉｎｓｏｎ−Ｄｕｒｂｉｎアルゴリズムを用いて、予測部１３２において予測係数と同時に予測誤差パワーを算出するようにしてもよい。予測誤差算出部１３３は、算出した予測誤差パワーを判定部１３６に出力する。なお、予測誤差算出部１３３は、予測部１３２から周波数解析の結果が継続的に入力されると、予測誤差パワーの出力も継続して行う。

第１利得算出部１３４は、予測部１３２から周波数解析の結果が入力されると、周波数解析の結果に基づいて、第１周波数より高い帯域の第１利得を算出する。すなわち、第１利得算出部１３４は、予測係数を用いて得られる伝達関数ＬＰ（ｚ）＝１／（１−Σａ_ｊｚ^−ｊ）に対して、｜ＬＰ（ｚ）｜^２を単位円回りで評価してθを横軸に取った振幅特性を得る。なお、単位円回りは、ｚ＝ｅ^ｉθ（θは正規化角周波数）である。第１利得算出部１３４は、得られた振幅特性に基づいて、第１周波数より高い帯域の利得（ゲイン）の平均を第１利得として算出する。なお、第１周波数は、例えば、０．１５Ｈｚである。なお、第１利得算出部１３４は、第１周波数より高い帯域として、例えば、０．１５Ｈｚ〜０．４Ｈｚの帯域を用いることができる。第１利得算出部１３４は、算出した第１利得を判定部１３６に出力する。なお、第１利得算出部１３４は、予測部１３２から周波数解析の結果が継続的に入力されると、第１利得の出力も継続して行う。

第２利得算出部１３５は、予測部１３２から周波数解析の結果が入力されると、周波数解析の結果に基づいて、第１周波数以下の周波数である第２周波数と第３周波数との間の帯域の第２利得を算出する。すなわち、第２利得算出部１３５は、第１利得算出部１３４と同様に、得られた振幅特性に基づいて、第２周波数と第３周波数との間の帯域の利得（ゲイン）の平均を第２利得として算出する。なお、第２周波数および第３周波数は、例えば、０．１５Ｈｚおよび０．０５Ｈｚである。第２利得算出部１３５は、算出した第２利得を判定部１３６に出力する。なお、第２利得算出部１３５は、予測部１３２から周波数解析の結果が継続的に入力されると、第２利得の出力も継続して行う。

ここで、図５および図６を用いて心拍変動の周波数特性について説明する。図５は、心拍変動の周波数特性の一例を示す図である。図５に示すグラフ３０は、図３に示す怒りの表情が見られたユーザの心拍変動データに対応する心拍変動の周波数特性である。グラフ３０では、例えば、第１周波数を周波数３１、第２周波数を周波数３１、第３周波数を周波数３２、第１周波数より高い帯域の上限周波数を周波数３３とする。このとき、第１利得算出部１３４は、周波数３１から周波数３３の帯域の利得の平均を第１利得として算出する。また、第２利得算出部１３５は、周波数３２から周波数３１の帯域の利得の平均を第２利得として算出する。

図６は、心拍変動の周波数特性の他の一例を示す図である。図６に示すグラフ４０は、図４に示す不安の表情が見られたユーザの心拍変動データに対応する心拍変動の周波数特性である。グラフ４０では、グラフ３０と同様に、例えば、第１周波数を周波数３１、第２周波数を周波数３１、第３周波数を周波数３２、第１周波数より高い帯域の上限周波数を周波数３３とする。このとき、第１利得算出部１３４は、周波数３１から周波数３３の帯域の利得の平均を第１利得として算出する。また、第２利得算出部１３５は、周波数３２から周波数３１の帯域の利得の平均を第２利得として算出する。

図１の説明に戻って、判定部１３６には、予測誤差算出部１３３、第１利得算出部１３４および第２利得算出部１３５から、それぞれ、予測誤差パワー、第１利得および第２利得が入力される。判定部１３６は、予測誤差パワー、第１利得および第２利得に基づいて、第２利得と予測誤差パワーとの第１の比、および、第２利得と第１利得との第２の比を算出する。判定部１３６は、算出した第１の比および第２の比に基づく点を、第１の比および第２の比を軸としたグラフに配置して、点が配置されたグラフの領域に基づいて、ユーザの感情を２種類以上の感情のうち、いずれであるかを判定する。つまり、判定部１３６は、第１の比および第２の比を軸とした平面上のクラスタリングで感情評価を行う。

なお、判定部１３６は、予測誤差算出部１３３、第１利得算出部１３４および第２利得算出部１３５から、それぞれ、予測誤差パワー、第１利得および第２利得が継続的に入力されると、感情の判定も継続的に行って、判定結果の出力も継続して行う。

具体的には、判定部１３６は、第１の比が第１の閾値以上、かつ、第２の比が第２の閾値未満であるか否かを判定する。なお、例えば、第１の閾値は−６０ｄＢ、第２の閾値は−３ｄＢとすることができる。判定部１３６は、第１の比が第１の閾値以上、かつ、第２の比が第２の閾値未満である場合には、リラックスと判定する。この場合には、ＡＲモデルでの予測が当たっており、かつ、ストレス度が低いことを示し、ユーザが機械操作に迷わずやりたいことが完遂できた場合である。

判定部１３６は、第１の比が第１の閾値以上、かつ、第２の比が第２の閾値未満でない場合には、第１の比が第１の閾値以上、かつ、第２の比が第２の閾値以上であるか否かを判定する。判定部１３６は、第１の比が第１の閾値以上、かつ、第２の比が第２の閾値以上である場合には、不安と判定する。この場合には、ＡＲモデルでの予測が当たっており、かつ、ストレス度が高いことを示し、ユーザがどうしていいかわからない不安状態である場合である。

判定部１３６は、第１の比が第１の閾値以上、かつ、第２の比が第２の閾値以上でない場合には、第１の比が第１の閾値未満、かつ、第２の比が第２の閾値以上であるか否かを判定する。判定部１３６は、第１の比が第１の閾値未満、かつ、第２の比が第２の閾値以上である場合には、イライラと判定する。この場合には、ＡＲモデルでの予測が外れており、かつ、ストレス度が高いことを示し、ユーザが機械の使い勝手が悪くイライラした状態である場合である。

判定部１３６は、第１の比が第１の閾値未満、かつ、第２の比が第２の閾値以上でない場合には、その他の状態と判定する。この場合には、ＡＲモデルでの予測が外れており、かつ、ストレス度が低いことを示し、ウォーキングのような有酸素運動のケースが考えられるが、機械操作中にこのような動作は不自然であるため、感情判定を行わない場合である。判定部１３６は、判定結果を出力制御部１３７に出力する。なお、判定結果は、例えば、イライラの状態が第１の異常状態、不安の状態が第２の異常状態に対応する。また、判定結果は、例えば、その他の状態が正常状態または判別不能の状態に対応する。

ここで、図７から図１０を用いて第１の比および第２の比と、感情評価とについて説明する。図７は、第１の比および第２の比の一例を示す図である。図７に示す第１の比および第２の比は、図５および図６のユーザに対応する。ここでは、図５のグラフ３０に対応する怒りの表情が見られたユーザをＤさん、図６のグラフ４０に対応する不安の表情が見られたユーザをＥさんとする。Ｄさんは、第１の比が−８０ｄＢ、第２の比が＋３ｄＢである。また、Ｅさんは、第１の比が−４４ｄＢ、第２の比が−１ｄＢである。

図８は、感情評価の他の一例を示す図である。図８は、図７の第１の比および第２の比をグラフに配置したもので、Ｄさんを示す点は、イライラを表す領域２３に配置され、Ｅさんを示す点は、不安を表す領域２２に配置される。ＤさんとＥさんとは、ストレス度を示す第２の比では差が４ｄＢと小さいが、定常性を示す第１の比では差が３６ｄＢと明らかな差が見られる。このため、図８のグラフでは、定常性に対応する第１の閾値２５を−６０ｄＢとすることで、イライラ（怒り）と不安との判別ができる。また、図８のグラフでは、ストレス度に対応する第２の閾値２６を、不安成分がリラックス成分の半分より小さいとして−３ｄＢとすることで、不安とリラックスとの判別ができる。すなわち、図８のグラフでは、イライラ（怒り）、不安およびリラックスの３つの感情の判定ができる。なお、図８のグラフでは、領域２４は、その他の状態に対応する。また、図８のグラフでは、領域２１、２２、２３を、第１の閾値２５と第２の閾値２６とで区切られた領域のうち一部の領域としたが、これに限定されず、第１の閾値２５と第２の閾値２６とで区切られた領域の、それぞれ全域を領域２１、２２、２３としてもよい。

図９は、第１の比および第２の比の他の一例を示す図である。図９では、他の例として、Ｓさん、Ｉさん、Ｆさん、ＫさんおよびＦさんの操作終了間際の第１の比および第２の比を挙げている。図１０は、感情評価の他の一例を示す図である。図１０は、図９の第１の比および第２の比をグラフに配置したもので、ＳさんおよびＦさんを示す点は、イライラを表す領域２３に配置され、ＩさんおよびＫさんを示す点は、不安を表す領域２２に配置される。さらに、Ｆさん終了間際を示す点は、領域２３よりもストレス度が高い領域に配置される。

図１の説明に戻って、出力制御部１３７は、判定部１３６から判定結果、つまり分類結果が入力されると、分類された結果に応じて異なる出力を行う。すなわち、出力制御部１３７は、例えば、判定結果のイライラ（怒り）、不安およびリラックスのそれぞれに応じて、それぞれ異なる色のランプを点灯させる出力情報を表示部１０２に出力し、それぞれの判定結果に応じた色のランプを点灯させる。つまり、出力制御部１３７は、第１の異常状態および第２の異常状態を識別可能な情報を含むアラームを出力する。また、出力制御部１３７は、その他の状態と判定された場合には、アラームを出力しない。なお、アラームは、表示部１０２における表示でもよいし、図示しないブザー等を鳴動させるようにしてもよい。

出力制御部１３７は、例えば、イライラを示す判定結果の場合には、赤色のランプを点灯させる出力情報を表示部１０２に出力する。また、出力制御部１３７は、例えば、不安を示す判定結果の場合には、黄色のランプを点灯させる出力情報を表示部１０２に出力する。さらに、出力制御部１３７は、例えば、リラックスを示す判定結果の場合には、緑色のランプを点灯させる出力情報を表示部１０２に出力する。また、出力制御部１３７は、例えば、その他の状態を示す判定結果の場合には、ランプを消灯させる出力情報を表示部１０２に出力する。さらに、出力制御部１３７は、例えば、判定結果の推移を示す情報を出力情報として表示部１０２に出力してもよい。

次に、実施例１の情動推定システム１の動作について説明する。図１１は、実施例１の判定処理の一例を示すフローチャートである。

感情評価装置１００の取得部１３１は、心拍センサ１０１から心拍変動データが入力されると、入力された心拍変動データを取得する（ステップＳ１）。取得部１３１は、取得した心拍変動データを予測部１３２に出力する。

予測部１３２は、取得部１３１から心拍変動データが入力されると、入力された心拍変動データに対してＡＲモデルを用いて周波数解析を行って、現在の心拍数を予測する予測係数を算出する（ステップＳ２）。予測部１３２は、予測係数を含む周波数解析の結果を予測誤差算出部１３３、第１利得算出部１３４および第２利得算出部１３５に出力する。

予測誤差算出部１３３は、予測部１３２から周波数解析の結果が入力されると、予測係数における予測誤差パワーを算出する（ステップＳ３）。予測誤差算出部１３３は、算出した予測誤差パワーを判定部１３６に出力する。

第１利得算出部１３４は、予測部１３２から周波数解析の結果が入力されると、周波数解析の結果に基づいて、第１周波数より高い帯域の第１利得を算出する（ステップＳ４）。第１利得算出部１３４は、算出した第１利得を判定部１３６に出力する。

第２利得算出部１３５は、予測部１３２から周波数解析の結果が入力されると、周波数解析の結果に基づいて、第１周波数以下の周波数である第２周波数と第３周波数との間の帯域の第２利得を算出する（ステップＳ５）。第２利得算出部１３５は、算出した第２利得を判定部１３６に出力する。

判定部１３６には、予測誤差算出部１３３、第１利得算出部１３４および第２利得算出部１３５から、それぞれ、予測誤差パワー、第１利得および第２利得が入力される。判定部１３６は、予測誤差パワーおよび第２利得に基づいて、第２利得と予測誤差パワーとの第１の比を算出する（ステップＳ６）。また、判定部１３６は、第１利得および第２利得に基づいて、第２利得と第１利得との第２の比を算出する（ステップＳ７）。

判定部１３６は、第１の比が第１の閾値以上、かつ、第２の比が第２の閾値未満であるか否かを判定する（ステップＳ８）。判定部１３６は、第１の比が第１の閾値以上、かつ、第２の比が第２の閾値未満である場合には（ステップＳ８：肯定）、リラックスと判定し（ステップＳ９）、判定結果を出力制御部１３７に出力する。

判定部１３６は、第１の比が第１の閾値以上、かつ、第２の比が第２の閾値未満でない場合には（ステップＳ８：否定）、第１の比が第１の閾値以上、かつ、第２の比が第２の閾値以上であるか否かを判定する（ステップＳ１０）。判定部１３６は、第１の比が第１の閾値以上、かつ、第２の比が第２の閾値以上である場合には（ステップＳ１０：肯定）、不安と判定し（ステップＳ１１）、判定結果を出力制御部１３７に出力する。

判定部１３６は、第１の比が第１の閾値以上、かつ、第２の比が第２の閾値以上でない場合には（ステップＳ１０：否定）、第１の比が第１の閾値未満、かつ、第２の比が第２の閾値以上であるか否かを判定する（ステップＳ１２）。判定部１３６は、第１の比が第１の閾値未満、かつ、第２の比が第２の閾値以上である場合には（ステップＳ１２：肯定）、イライラと判定し（ステップＳ１３）、判定結果を出力制御部１３７に出力する。

判定部１３６は、第１の比が第１の閾値未満、かつ、第２の比が第２の閾値以上でない場合には（ステップＳ１２：否定）、その他の状態と判定し（ステップＳ１４）、判定結果を出力制御部１３７に出力する。

出力制御部１３７は、判定部１３６から判定結果が入力されると、判定結果に応じた出力情報を表示部１０２に出力する（ステップＳ１５）。表示部１０２は、制御部１３０から入力された出力情報に応じた表示を行う。これにより、感情評価装置１００は、感情の異常状態に応じた出力を行うことができる。

このように、感情評価装置１００は、１のユーザについて継続的に計測された心拍間隔の情報を取得する。また、感情評価装置１００は、取得された心拍間隔の情報を周波数解析した結果得られる値、および、取得された心拍間隔の情報に基づいて算出された予測心拍間隔と実際に得られた心拍間隔とのズレを示す値との比を示す値に基づいて、ユーザの感情を少なくとも２種類のいずれかに分類する。また、感情評価装置１００は、分類された結果に応じて異なる出力を行う。その結果、感情の異常状態に応じた出力を行うことができる。

また、感情評価装置１００は、取得された心拍間隔の情報に対してＡＲモデルを用いて周波数解析を行って、現在の心拍数を予測する予測係数を算出する。また、感情評価装置１００は、算出された予測係数における予測誤差パワーを算出する。また、感情評価装置１００は、周波数解析の結果に基づいて、第２周波数より低い帯域の第２利得を算出する。また、感情評価装置１００は、第２利得と予測誤差パワーとの第１の比を算出し、算出した第１の比を示す値に基づいて、ユーザの感情を２種類以上の感情のうち、いずれであるかを判定する。また、感情評価装置１００は、判定された感情に基づいて、ユーザの感情を少なくとも２種類のいずれかに分類する。その結果、イライラおよび不安のそれぞれの感情を判別できる。

また、感情評価装置１００は、第２利得として、第２周波数と第２周波数よりも低い第３周波数との間の帯域の利得を算出する。その結果、イライラおよび不安のそれぞれの感情を判別できる。

また、感情評価装置１００は、周波数解析の結果に基づいて、第２周波数以上の周波数である第１周波数より高い帯域の第１利得を算出する。また、感情評価装置１００は、第２利得と第１利得との第２の比を算出し、第１の比および第２の比を軸とした２次元平面上に、第１の比および第２の比に基づく点を配置し、点が配置された２次元平面の領域に基づいて、ユーザの感情を２種類以上の感情のうち、いずれであるかを判定する。その結果、イライラ、不安およびリラックスのそれぞれの感情を判別できる。

また、感情評価装置１００は、感情の判定を継続的に行い、判定の結果の推移を示す情報を出力する。その結果、ユーザの感情の推移を把握できる。

また、感情評価装置１００は、感情を第１の異常状態であるか、第２の異常状態であるかを判定する。その結果、イライラの感情と、不安の感情とを判別できる。

また、感情評価装置１００は、感情を第１の異常状態、第２の異常状態、あるいは、正常状態または判別不能の状態であることを示すその他の状態のいずれであるかを判定する。その結果、イライラの感情と、不安の感情とを判別できるとともに、正常状態または判別不能の状態を判別できる。

また、感情評価装置１００は、第１の異常状態および第２の異常状態を識別可能な情報を含むアラームを出力する。その結果、イライラの感情と、不安の感情とを区別して報知できる。

また、感情評価装置１００は、その他の状態と判定された場合には、アラームを出力しない。その結果、余分な報知を抑止できる。

上記実施例１では、第２利得と予測誤差パワーとの第１の比、および、第２利得と第１利得との第２の比を用いて感情を判定したが、さらに、振幅特性のピークを用いて感情を判定してもよく、この場合の実施の形態につき、実施例２として説明する。図１２は、実施例２の情動推定システムの構成の一例を示すブロック図である。なお、実施例１の情動推定システム１と同一の構成には同一符号を付すことで、その重複する構成及び動作の説明については省略する。

実施例２の情動推定システム２における感情評価装置２００の制御部２３０は、実施例１の感情評価装置１００の制御部１３０と比較して、さらに線スペクトル対算出部２３８を有する。また、感情評価装置２００は、実施例１の第２利得算出部１３５および判定部１３６に代えて、第２利得算出部２３５および判定部２３６を有する。

線スペクトル対算出部２３８には、予測部１３２からＡＲモデルの解析結果が入力される。なお、感情評価装置２００の予測部１３２では、線スペクトル対算出部２３８に対してＡＲモデルの解析結果が出力される。線スペクトル対算出部２３８は、入力されたＡＲモデルの解析結果に基づいて、線スペクトル対（以下、ＬＳＰ（Line Spectral Pair）ともいう。）を算出する。線スペクトル対算出部２３８は、算出したＬＳＰ群を第２利得算出部２３５および判定部２３６に出力する。

ここで、ＬＦ帯域における振幅特性の取り方とＬＳＰとについて説明する。ＬＦ成分／ＨＦ成分の比をとる際に、帯域全体の積分値の比をとる手法が知られている。このとき、ピークを見るという測定手法を採用したとしても、比をとるのでＬＦ成分、ＨＦ成分の双方とも同じ測定手法をとった上で、比に対する閾値を適切に定めれば問題はない。ところが、本願では、グラフの片方の軸がＬＦ成分／残留誤差の比であり、残留誤差はスカラ値であるため、ＬＦ帯域における振幅特性の形状の適切な取り方が問題となる。なお、ＬＦ帯域は、第２周波数と第３周波数との間の帯域である。

実施例２では、ＬＦ帯域における振幅特性の取り方として、予測系列ａ_１，ａ_２，・・・，ａ_ＭからＬＳＰと呼ばれるパラメータに変換する。ここで、ＬＳＰは、ＡＲモデルをＺ変換で表わした線形予測多項式である下記の式（２）を用いて構成される、下記の式（３）の多項式の根である。

式（３）の根は、単位円上にあることがわかっているため、元のＡ（ｚ）の根を、単位円上の２つの根のペアにマッピングしたものが得られる。ＬＳＰは、Ａ（ｚ）の根を数値解析的に解くより計算量が少なくて済み、Ａ（ｚ）の周波数特性をつかむことができるという特徴がある。このことを利用して、ＬＦ帯域における振幅特性がどのようなものかの物差しとして導入する。より具体的には、ＬＳＰの密なところが周波数特性のピーク、疎なところは谷の部分ということが分かっている。つまり、ＬＦ帯域におけるＬＳＰの間隔をみれば、明確なピークの有無がわかる。

第２利得算出部２３５は、線スペクトル対算出部２３８からＬＳＰ群が入力されると、ＬＳＰで挟まれた帯域に基づいて第２利得を算出する。なお、利得の算出については、実施例１の第２利得算出部１３５と同様であってもよいが、ＬＳＰ間の中点を算出することで周波数特性のプロット数を削減することができる。第２利得算出部２３５は、算出した第２利得を判定部２３６に出力する。

判定部２３６には、実施例１の判定部１３６と比較して、さらに、線スペクトル対算出部２３８からＬＳＰ群が入力される。判定部２３６は、第２周波数と第３周波数との間の利得特性（周波数特性）にピークがあるか否かについてＬＳＰ群を用いて評価する。つまり、判定部２３６は、ＬＦ帯域にピークがあるか否かをＬＳＰで得られた角周波数を用いて判定する。当該評価は、感情によって血圧との相関が低くなれば、ＬＦ帯域に明確なピークが現れなくなる。つまり、当該評価は、ピークがあることは定常性があることを示し、ピークがないことは定常性がないことを示す。なお、判定部２３６は、利得特性のピークを評価する際に、ＬＳＰを周波数の低いものから順に並べて２本目からＮ本目（Ｎは、例えば４〜６である。）について、間隔の最小距離を見て、つまりＬＳＰが一番密になっている箇所を見て評価してもよい。

具体的には、判定部２３６は、第１の比が第１の閾値以上、かつ、第２の比が第２の閾値未満であるか否かを判定する。判定部２３６は、第１の比が第１の閾値以上、かつ、第２の比が第２の閾値未満である場合には、リラックスと判定する。

判定部２３６は、第１の比が第１の閾値以上、かつ、第２の比が第２の閾値未満でない場合には、第１の比が第１の閾値以上、かつ、第２の比が第２の閾値以上、かつ、第２周波数と第３周波数との間の利得特性にピークがあるか否かを判定する。判定部２３６は、当該判定条件を満たす場合には、不安と判定する。判定部２３６は、当該判定条件を満たさない場合には、第１の比が第１の閾値未満、かつ、第２の比が第２の閾値以上であるか否かを判定する。判定部２３６は、第１の比が第１の閾値未満、かつ、第２の比が第２の閾値以上である場合には、イライラと判定する。

判定部２３６は、第１の比が第１の閾値未満、かつ、第２の比が第２の閾値以上でない場合には、その他の状態と判定する。判定部２３６は、判定結果を出力制御部１３７に出力する。すなわち、判定部２３６は、算出されたＬＳＰの間隔に基づくピークが、第２周波数と第３周波数との間の帯域にあるか否かに基づいて、ユーザの感情を判定する。

ここで、図１３から図１５を用いて、イライラ、不安およびリラックスの感情における、心拍変動の周波数特性およびＬＳＰについて説明する。なお、図中において、ＬＳＰは点線で示す。図１３は、心拍変動の周波数特性およびＬＳＰの一例を示す図である。図１３のグラフは、イライラの感情における心拍変動の周波数特性およびＬＳＰである。図１３のグラフでは、明確なピークが現れていない状態である。

図１４は、心拍変動の周波数特性およびＬＳＰの他の一例を示す図である。図１４のグラフは、不安の感情における心拍変動の周波数特性およびＬＳＰである。図１４のグラフでは、ＬＦ帯域とＨＦ帯域とにピークが現れている状態である。

図１５は、心拍変動の周波数特性およびＬＳＰの他の一例を示す図である。図１５のグラフは、リラックスの感情における心拍変動の周波数特性およびＬＳＰである。図１５のグラフでは、ＨＦ帯域にピークが現れている状態である。図１３から図１５に示すように、ＬＳＰの密なところが周波数特性のピークであり、疎なところはそうではないところである。すなわち、これらのグラフでは、ＬＦ帯域におけるＬＳＰの間隔を見ると、明確なピークの有無がわかる。つまり、これらのグラフでは、ＬＦ帯域におけるＬＳＰのペアおよびその中点の３点で傾きを求め、その符号が反対ならばピークがあることになる。また、当該符号が同じであればピークがないことがわかる。

次に、実施例２の情動推定システム２の動作について説明する。図１６は、実施例２の判定処理の一例を示すフローチャートである。以下の説明では、ステップＳ１〜Ｓ９、Ｓ１１〜Ｓ１５の処理は、実施例１と同様であるので、その説明を省略する。

感情評価装置２００は、ステップＳ２の処理に続いて、次の処理を実行する。線スペクトル対算出部２３８には、予測部１３２からＡＲモデルの解析結果が入力される。線スペクトル対算出部２３８は、入力されたＡＲモデルの解析結果に基づいて、線スペクトル対を算出する（ステップＳ２１）。線スペクトル対算出部２３８は、算出したＬＳＰ群を第２利得算出部２３５および判定部２３６に出力し、ステップＳ３に進む。

感情評価装置２００は、ステップＳ５の処理に続いて、次の処理を実行する。判定部２３６は、第２周波数と第３周波数との間の利得特性にピークがあるか否かについてＬＳＰ群を用いて評価する（ステップＳ２２）。なお、ステップＳ２２での評価結果は、ステップＳ２３での判定に用いる。感情評価装置２００は、ステップＳ６に進む。

感情評価装置２００は、ステップＳ８の処理に続いて、次の処理を実行する。判定部２３６は、ステップＳ８の判定において否定の場合に、第１の比が第１の閾値以上、かつ、第２の比が第２の閾値以上、かつ、第２周波数と第３周波数との間の利得特性にピークがあるか否かを判定する（ステップＳ２３）。判定部２３６は、当該判定条件を満たす場合には（ステップＳ２３：肯定）、不安と判定し（ステップＳ１１）、ステップＳ１５に進む。判定部２３６は、当該判定条件を満たさない場合には（ステップＳ２３：否定）、ステップＳ１２に進む。これにより、感情評価装置２００は、より的確に感情の異常状態に応じた出力を行うことができる。

このように、感情評価装置２００は、さらに、ＡＲモデルの解析結果に基づいて線スペクトル対を算出する。また、感情評価装置２００は、算出した線スペクトル対の間隔に基づくピークが、第２周波数と第３周波数との間の帯域にあるか否かに基づいて、ユーザの感情を判定する。その結果、より的確に感情の異常状態に応じた出力を行うことができる。

また、感情評価装置２００は、第２利得を線スペクトル対で挟まれた帯域に基づいて算出する。その結果、より的確に感情の異常状態に応じた出力を行うことができる。

上記各実施例では、判定結果に基づく出力情報を出力制御部１３７から表示部１０２に出力したが、さらに、ユーザが操作中の所定の装置や管理者端末に出力情報を送信してもよく、この場合の実施の形態につき、実施例３として説明する。図１７は、実施例３の情動推定システムの構成の一例を示すブロック図である。なお、実施例１の情動推定システム１と同一の構成には同一符号を付すことで、その重複する構成及び動作の説明については省略する。

実施例３の情動推定システム３は、感情評価装置３００と、所定の装置４００と、管理者端末５００と、サーバ装置６００とを有する。感情評価装置３００は、実施例１の感情評価装置１００の表示部１０２に代えて、第１表示部３０２および第２表示部３０３を有する。また、感情評価装置３００は、実施例１の感情評価装置１００と比較して、さらに通信部３１０を有する。さらに、感情評価装置３００の制御部３３０は、実施例１の制御部１３０の出力制御部１３７に代えて出力制御部３３７を有する。

第１表示部３０２は、実施例１の表示部１０２と同様に、ユーザの感情が分類された結果に応じて異なる出力を行う表示デバイスである。第１表示部３０２は、例えば、表示デバイスとして複数の色のランプを有する表示器等によって実現される。第１表示部３０２は、制御部３３０から入力された出力情報に応じた表示を行う。

第２表示部３０３は、各種情報を表示するための表示デバイスである。第２表示部３０３は、例えば、表示デバイスとして液晶ディスプレイ等によって実現される。第２表示部３０３は、制御部３３０から入力された出力画面等の各種画面を表示する。

通信部３１０は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。通信部３１０は、ネットワークＮを介して所定の装置４００、管理者端末５００およびサーバ装置６００と有線または無線で接続され、所定の装置４００、管理者端末５００およびサーバ装置６００との間で情報の通信を司る通信インタフェースである。通信部３１０は、制御部３３０から入力された出力情報を所定の装置４００、管理者端末５００およびサーバ装置６００に送信する。

出力制御部３３７は、実施例１の出力制御部１３７と比較して、さらに、第２表示部３０３への出力画面の出力と、通信部３１０を介して、所定の装置４００、管理者端末５００およびサーバ装置６００に出力情報およびログデータを送信する点が異なる。出力制御部３３７は、例えば、判定結果のイライラ（怒り）、不安およびリラックスのそれぞれに応じて、それぞれ異なる色のランプを点灯させる出力情報を第１表示部３０２に出力し、それぞれの判定結果に応じた色のランプを点灯させる。また、出力制御部３３７は、判定結果に対応する出力情報を、通信部３１０を介して、所定の装置４００および管理者端末５００に送信する。すなわち、出力制御部３３７は、判定の結果がその他の状態から第１の異常状態または第２の異常状態に変化した場合、もしくは、判定の開始時から第１の異常状態または第２の異常状態である場合に、管理者端末５００に対してアラームを送信する。なお、アラームは、出力情報の一例である。

また、出力制御部３３７は、判定部１３６から入力される判定結果に応じたメッセージを表示する出力画面を生成し、生成した出力画面を第２表示部３０３に出力して表示させる。出力制御部３３７は、例えば、判定結果がイライラである場合には、「ご不便をおかけしており申し訳ございません。係員が対応致します、少々お待ちください。」といったメッセージを表示する出力画面を生成して、第２表示部３０３に表示させる。また、出力制御部３３７は、例えば、判定結果が不安である場合には、「操作について詳しい者が案内致します、少々お待ちください。」といったメッセージを表示する出力画面を生成して、第２表示部３０３に表示させる。

出力制御部３３７は、判定部１３６から入力される判定結果をタイムスタンプとともに時系列的に記録した第１ログデータを生成する。出力制御部３３７は、生成した第１ログデータを、通信部３１０およびネットワークＮを介して、サーバ装置６００に送信する。なお、出力制御部３３７は、第１ログデータの送信タイミングとして、例えば、出力情報を所定の装置４００および管理者端末５００に送信するタイミングを用いることができる。

所定の装置４００は、例えば、セルフレジやＡＴＭ等の装置であり、ユーザによって操作される装置である。所定の装置４００は、ユーザの操作に関する情報をタイムスタンプとともに時系列的に記録した第２ログデータを生成する。なお、ユーザの操作に関する情報は、所定の装置４００で実行されていた処理内容、操作内容または画面内容に関する情報を含む情報である。所定の装置４００は、感情評価装置３００から、ネットワークＮを介して出力情報を受信すると、生成した第２ログデータを、通信部３１０およびネットワークＮを介して、サーバ装置６００に送信する。

管理者端末５００は、感情評価装置３００、所定の装置４００およびサーバ装置６００を管理する管理者が用いる端末装置である。管理者端末５００は、例えば、感情評価装置３００から出力情報を受信すると、受信した出力情報を図示しない表示部に表示させる。すなわち、管理者端末５００は、出力情報であるアラームを図示しない表示部に表示させる。また、管理者端末５００は、ネットワークＮを介して、サーバ装置６００に対して、第１ログデータおよび第２ログデータの解析を指示し、解析結果を受信して図示しない表示部に表示させる。

サーバ装置６００は、第１ログデータおよび第２ログデータを記憶するとともに、管理者端末５００からの解析指示に基づいて解析を実行し、解析結果を管理者端末５００に送信するサーバ装置である。サーバ装置６００は、ネットワークＮを介して、感情評価装置３００から第１ログデータを受信し、所定の装置４００から第２ログデータを受信する。サーバ装置６００は、受信した第１ログデータおよび第２ログデータを図示しない記憶部に記憶して蓄積する。また、サーバ装置６００は、ネットワークＮを介して、管理者端末５００から解析指示を受信すると、蓄積した第１ログデータおよび第２ログデータを突き合わせることで、感情の変化時に何が原因となったのかを解析する。サーバ装置６００は、ネットワークＮを介して、解析結果を管理者端末５００に送信する。

ここで、図１８を用いてログデータについて説明する。図１８は、ログデータの一例を示す図である。図１８に示すように、第１ログデータ５０および第２ログデータ５１は、それぞれ、感情の判定結果と、操作イベントとをタイムスタンプ、つまり日時情報と対応付けて記憶されている。サーバ装置６００は、第１ログデータ５０および第２ログデータ５１を突き合わせて、感情の変化時に何が原因となったのかを解析する。図１８の例では、突き合わせ５２によって、第１ログデータ５０の「感情Ａ 確度Ｘ１」と、第２ログデータ５１の操作イベント「Ａ」とが対応付けられる。つまり、サーバ装置６００は、「感情Ａ」の原因が操作イベント「Ａ」であると解析する。

同様に、図１８の例では、第１ログデータ５０の「感情Ａ 確度Ｘ２」と、第２ログデータ５１の操作イベント「Ｂ」とが対応付けられる。つまり、サーバ装置６００は、「感情Ａ」の原因が操作イベント「Ｂ」であると解析する。また同様に、図１８の例では、第１ログデータ５０の「感情Ｂ 確度Ｘ３」と、第２ログデータ５１の操作イベント「Ｃ」とが対応付けられる。つまり、サーバ装置６００は、「感情Ｂ」の原因が操作イベント「Ｃ」であると解析する。なお、確度は、例えば、図８に示す感情評価のグラフにおいて、領域２１、２２、２３のそれぞれの領域の中心部ほど確度を高くし、周辺部ほど確度を低くすることができる。確度は、例えば、各領域の中心部から周辺部にかけて、確度Ｘ１〜Ｘ３を割り当てることができる。

次に、実施例３の情動推定システム３の動作について説明する。図１９は、実施例３の判定処理の一例を示すフローチャートである。以下の説明では、ステップＳ１〜Ｓ１４の処理は、実施例１と同様であるので、その説明を省略する。

感情評価装置３００は、ステップＳ９、Ｓ１１、Ｓ１３またはＳ１４の処理に続いて、次の処理を実行する。出力制御部３３７は、判定部１３６から判定結果が入力されると、判定結果に応じた出力情報を第１表示部３０２に出力し、それぞれの判定結果に応じた色のランプを点灯させる。また、出力制御部３３７は、判定部１３６から入力される判定結果に応じたメッセージを表示する出力画面を生成し、生成した出力画面を第２表示部３０３に出力して表示させる。さらに、出力制御部３３７は、判定結果に対応する出力情報、つまりアラームを、所定の装置４００および管理者端末５００に送信する（ステップＳ３１）。なお、所定の装置４００では、出力情報の受信に応じて、第２ログデータがサーバ装置６００に送信される。

出力制御部３３７は、判定部１３６から入力される判定結果をタイムスタンプとともに時系列的に記録した第１ログデータを生成する。出力制御部３３７は、生成した第１ログデータを、例えば、出力情報を送信するタイミングでサーバ装置６００に送信する（ステップＳ３２）。なお、サーバ装置６００では、感情評価装置３００から受信した第１ログデータと、所定の装置４００から受信した第２ログデータとが記憶され蓄積される。これにより、情動推定システム３は、ユーザの心情を読み取り、先回りして提示するので、不安やイライラの感情を抑え、顧客満足度向上に資することができる。また、情動推定システム３は、どの様な操作がユーザの感情を損なっているかを解析できる。また、情動推定システム３は、所定の装置４００の改善や店舗運営の分析ができる。

このように、感情評価装置３００は、判定の結果がその他の状態から第１の異常状態または第２の異常状態に変化した場合、もしくは、判定の開始時から第１の異常状態または第２の異常状態である場合に、管理者端末５００に対してアラームを送信する。その結果、イライラや不安の感情を抱いているユーザに対して、管理者が適切に対応することができる。

また、情動推定システム３では、ユーザは、所定の装置４００を操作しているユーザである。また、所定の装置４００は、感情評価装置３００の判定部１３６において感情が第１の異常状態または第２の異常状態と判定されたときに、該所定の装置４００で実行されていた処理内容、操作内容または画面内容に関する情報を出力する。その結果、どの様な操作がユーザの感情を損なっているかを解析できる。

なお、図示した各部の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各部の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、予測部１３２と、予測誤差算出部１３３とを統合してもよい。また、図示した各処理は、上記の順番に限定されるものではなく、処理内容を矛盾させない範囲において、同時に実施してもよく、順序を入れ替えて実施してもよい。

さらに、各装置で行われる各種処理機能は、ＣＰＵ（またはＭＰＵ、ＭＣＵ（Micro Controller Unit）等のマイクロ・コンピュータ）上で、その全部または任意の一部を実行するようにしてもよい。また、各種処理機能は、ＣＰＵ（またはＭＰＵ、ＭＣＵ等のマイクロ・コンピュータ）で解析実行されるプログラム上、またはワイヤードロジックによるハードウェア上で、その全部または任意の一部を実行するようにしてもよいことは言うまでもない。

ところで、上記の実施例で説明した各種の処理は、予め用意されたプログラムをコンピュータで実行することで実現できる。そこで、以下では、上記の実施例と同様の機能を有するプログラムを実行するコンピュータの一例を説明する。図２０は、情動推定プログラムを実行するコンピュータの一例を示す図である。

図２０に示すように、コンピュータ７００は、各種演算処理を実行するＣＰＵ７０１と、データ入力を受け付ける入力装置７０２と、モニタ７０３とを有する。また、コンピュータ７００は、記憶媒体からプログラム等を読み取る媒体読取装置７０４と、各種装置と接続するためのインタフェース装置７０５と、他の情報処理装置等と有線または無線により接続するための通信装置７０６とを有する。また、コンピュータ７００は、各種情報を一時記憶するＲＡＭ７０７と、ハードディスク装置７０８とを有する。また、各装置７０１〜７０８は、バス７０９に接続される。

ハードディスク装置７０８には、図１に示した取得部１３１、予測部１３２、予測誤差算出部１３３、第１利得算出部１３４、第２利得算出部１３５、判定部１３６および出力制御部１３７の各処理部と同様の機能を有する情動推定プログラムが記憶される。また、ハードディスク装置７０８には、図１２に示した取得部１３１、予測部１３２、予測誤差算出部１３３および第１利得算出部１３４の各処理部と同様の機能を有する情動推定プログラムが記憶されてもよい。また、ハードディスク装置７０８には、図１２に示した第２利得算出部２３５、判定部２３６、出力制御部１３７および線スペクトル対算出部２３８の各処理部と同様の機能を有する情動推定プログラムが記憶されてもよい。また、ハードディスク装置７０８には、図１７に示した取得部１３１、予測部１３２、予測誤差算出部１３３、第１利得算出部１３４、第２利得算出部１３５、判定部１３６および出力制御部３３７の各処理部と同様の機能を有する情動推定プログラムが記憶されてもよい。また、ハードディスク装置７０８には、情動推定プログラムを実現するための各種データが記憶される。

入力装置７０２は、例えば、コンピュータ７００の管理者から操作情報等の各種情報の入力を受け付ける。モニタ７０３は、例えば、図１または図１２に示した表示部１０２、あるいは、図１７に示した第１表示部３０２および第２表示部３０３と同様の機能を有し、出力情報に応じた表示を行う。インタフェース装置７０５は、例えば、図１、図１２または図１７に示した心拍センサ１０１が接続される。通信装置７０６は、例えば、図１７に示した通信部３１０と同様の機能を有し、ネットワークＮと接続され、所定の装置４００、管理者端末５００およびサーバ装置６００と各種情報をやりとりする。

ＣＰＵ７０１は、ハードディスク装置７０８に記憶された各プログラムを読み出して、ＲＡＭ７０７に展開して実行することで、各種の処理を行う。また、これらのプログラムは、コンピュータ７００を図１に示した取得部１３１、予測部１３２、予測誤差算出部１３３、第１利得算出部１３４、第２利得算出部１３５、判定部１３６および出力制御部１３７として機能させることができる。また、これらのプログラムは、コンピュータ７００を、図１２に示した取得部１３１、予測部１３２、予測誤差算出部１３３、第１利得算出部１３４、第２利得算出部２３５、判定部２３６、出力制御部１３７および線スペクトル対算出部２３８として機能させてもよい。また、これらのプログラムは、コンピュータ７００を、図１７に示した取得部１３１、予測部１３２、予測誤差算出部１３３、第１利得算出部１３４、第２利得算出部１３５、判定部１３６および出力制御部３３７として機能させてもよい。

なお、上記の情動推定プログラムは、必ずしもハードディスク装置７０８に記憶されている必要はない。例えば、コンピュータ７００が読み取り可能な記憶媒体に記憶されたプログラムを、コンピュータ７００が読み出して実行するようにしてもよい。コンピュータ７００が読み取り可能な記憶媒体は、例えば、ＣＤ−ＲＯＭやＤＶＤディスク、ＵＳＢ（Universal Serial Bus）メモリ等の可搬型記録媒体、フラッシュメモリ等の半導体メモリ、ハードディスクドライブ等が対応する。また、公衆回線、インターネット、ＬＡＮ等に接続された装置にこの情動推定プログラムを記憶させておき、コンピュータ７００がこれらから情動推定プログラムを読み出して実行するようにしてもよい。

以上、各実施例を含む実施の形態に関し、さらに以下の付記を開示する。

（付記１）１のユーザについて継続的に計測された心拍間隔の情報を取得する取得部と、
取得された前記心拍間隔の情報を周波数解析した結果得られる値、および、取得された前記心拍間隔の情報に基づいて算出された予測心拍間隔と実際に得られた心拍間隔とのズレを示す値との比を示す値に基づいて、前記ユーザの感情を少なくとも２種類のいずれかに分類する分類部と、
分類された結果に応じて異なる出力を行う出力制御部と、
を有することを特徴とする情動推定システム。

（付記２）前記分類部は、
取得された前記心拍間隔の情報に対してＡＲモデルを用いて周波数解析を行って、現在の心拍数を予測する予測係数を算出する予測部と、
算出された前記予測係数における予測誤差パワーを算出する予測誤差算出部と、
前記周波数解析の結果に基づいて、第２周波数より低い帯域の第２利得を算出する第２利得算出部と、
前記第２利得と前記予測誤差パワーとの第１の比を算出し、算出した前記第１の比を示す値に基づいて、前記ユーザの感情を２種類以上の感情のうち、いずれであるかを判定する判定部と、を有し、
判定された前記感情に基づいて、前記ユーザの感情を少なくとも２種類のいずれかに分類する、
ことを特徴とする付記１に記載の情動推定システム。

（付記３）前記第２利得算出部は、前記第２利得として、前記第２周波数と前記第２周波数よりも低い第３周波数との間の帯域の利得を算出する、
ことを特徴とする付記２に記載の情動推定システム。

（付記４）前記分類部はさらに、前記周波数解析の結果に基づいて、前記第２周波数以上の周波数である第１周波数より高い帯域の第１利得を算出する第１利得算出部を有し、
前記判定部はさらに、前記第２利得と前記第１利得との第２の比を算出し、前記第１の比および前記第２の比を軸とした２次元平面上に、前記第１の比および前記第２の比に基づく点を配置し、前記点が配置された前記２次元平面の領域に基づいて、前記ユーザの感情を２種類以上の感情のうち、いずれであるかを判定する、
ことを特徴とする付記２に記載の情動推定システム。

（付記５）さらに、前記ＡＲモデルの解析結果に基づいて線スペクトル対を算出する線スペクトル対算出部を有し、
前記判定部は、算出した前記線スペクトル対の間隔に基づくピークが、前記第２周波数と前記第３周波数との間の帯域にあるか否かに基づいて、前記ユーザの感情を判定する、
ことを特徴とする付記３に記載の情動推定システム。

（付記６）前記第２利得算出部は、前記第２利得を前記線スペクトル対で挟まれた帯域に基づいて算出する、
ことを特徴とする付記５に記載の情動推定システム。

（付記７）前記判定部は、前記感情の判定を継続的に行い、
前記出力制御部は、前記判定の結果の推移を示す情報を出力する、
ことを特徴とする付記２〜６のいずれか１つに記載の情動推定システム。

（付記８）前記判定部は、前記感情を第１の異常状態であるか、第２の異常状態であるかを判定する、
ことを特徴とする付記２〜７のいずれか１つに記載の情動推定システム。

（付記９）前記判定部は、前記感情を第１の異常状態、第２の異常状態、あるいは、正常状態または判別不能の状態であることを示すその他の状態のいずれであるかを判定する、
ことを特徴とする付記２〜７のいずれか１つに記載の情動推定システム。

（付記１０）前記出力制御部は、前記第１の異常状態および前記第２の異常状態を識別可能な情報を含むアラームを出力する、
ことを特徴とする付記８または９に記載の情動推定システム。

（付記１１）前記出力制御部は、前記その他の状態と判定された場合には、アラームを出力しない、
ことを特徴とする付記９に記載の情動推定システム。

（付記１２）前記出力制御部は、前記判定の結果が前記その他の状態から前記第１の異常状態または前記第２の異常状態に変化した場合、もしくは、前記判定の開始時から前記第１の異常状態または前記第２の異常状態である場合に、管理者端末に対してアラームを送信する、
ことを特徴とする付記９に記載の情動推定システム。

（付記１３）前記ユーザは、所定の装置を操作しているユーザであり、
前記所定の装置は、前記判定部において前記感情が前記第１の異常状態または前記第２の異常状態と判定されたときに、該所定の装置で実行されていた処理内容、操作内容または画面内容に関する情報を出力する、
ことを特徴とする付記８〜１２のいずれか１つに記載の情動推定システム。

（付記１４）１のユーザについて継続的に計測された心拍間隔の情報を取得し、
取得された前記心拍間隔の情報を周波数解析した結果得られる値、および、取得された前記心拍間隔の情報に基づいて算出された予測心拍間隔と実際に得られた心拍間隔とのズレを示す値との比を示す値に基づいて、前記ユーザの感情を少なくとも２種類のいずれかに分類し、
分類された結果に応じて異なる出力を行う、
処理をコンピュータが実行することを特徴とする情動推定方法。

（付記１５）前記分類する処理は、
取得された前記心拍間隔の情報に対してＡＲモデルを用いて周波数解析を行って、現在の心拍数を予測する予測係数を算出し、
算出された前記予測係数における予測誤差パワーを算出し、
前記周波数解析の結果に基づいて、第２周波数より低い帯域の第２利得を算出し、
前記第２利得と前記予測誤差パワーとの第１の比を算出し、算出した前記第１の比を示す値に基づいて、前記ユーザの感情を２種類以上の感情のうち、いずれであるかを判定し、
判定された前記感情に基づいて、前記ユーザの感情を少なくとも２種類のいずれかに分類する、
ことを特徴とする付記１４に記載の情動推定方法。

（付記１６）前記第２利得を算出する処理は、前記第２利得として、前記第２周波数と前記第２周波数よりも低い第３周波数との間の帯域の利得を算出する、
ことを特徴とする付記１５に記載の情動推定方法。

（付記１７）前記分類する処理はさらに、前記周波数解析の結果に基づいて、前記第２周波数以上の周波数である第１周波数より高い帯域の第１利得を算出し、
前記判定する処理はさらに、前記第２利得と前記第１利得との第２の比を算出し、前記第１の比および前記第２の比を軸とした２次元平面上に、前記第１の比および前記第２の比に基づく点を配置し、前記点が配置された前記２次元平面の領域に基づいて、前記ユーザの感情を２種類以上の感情のうち、いずれであるかを判定する、
ことを特徴とする付記１５に記載の情動推定方法。

（付記１８）さらに、前記ＡＲモデルの解析結果に基づいて線スペクトル対を算出し、
前記判定する処理は、算出した前記線スペクトル対の間隔に基づくピークが、前記第２周波数と前記第３周波数との間の帯域にあるか否かに基づいて、前記ユーザの感情を判定する、
ことを特徴とする付記１６に記載の情動推定方法。

（付記１９）前記第２利得を算出する処理は、前記第２利得を前記線スペクトル対で挟まれた帯域に基づいて算出する、
ことを特徴とする付記１８に記載の情動推定方法。

（付記２０）前記判定する処理は、前記感情の判定を継続的に行い、
前記出力を行う処理は、前記判定の結果の推移を示す情報を出力する、
ことを特徴とする付記１５〜１９のいずれか１つに記載の情動推定方法。

（付記２１）前記判定する処理は、前記感情を第１の異常状態であるか、第２の異常状態であるかを判定する、
ことを特徴とする付記１５〜２０のいずれか１つに記載の情動推定方法。

（付記２２）前記判定する処理は、前記感情を第１の異常状態、第２の異常状態、あるいは、正常状態または判別不能の状態であることを示すその他の状態のいずれであるかを判定する、
ことを特徴とする付記１５〜２０のいずれか１つに記載の情動推定方法。

（付記２３）前記出力を行う処理は、前記第１の異常状態および前記第２の異常状態を識別可能な情報を含むアラームを出力する、
ことを特徴とする付記２１または２２に記載の情動推定方法。

（付記２４）前記出力を行う処理は、前記その他の状態と判定された場合には、アラームを出力しない、
ことを特徴とする付記２２に記載の情動推定方法。

（付記２５）前記出力を行う処理は、前記判定の結果が前記その他の状態から前記第１の異常状態または前記第２の異常状態に変化した場合、もしくは、前記判定の開始時から前記第１の異常状態または前記第２の異常状態である場合に、管理者端末に対してアラームを送信する、
ことを特徴とする付記２２に記載の情動推定方法。

（付記２６）前記ユーザは、所定の装置を操作しているユーザであり、
前記所定の装置は、前記判定する処理において前記感情が前記第１の異常状態または前記第２の異常状態と判定されたときに、該所定の装置で実行されていた処理内容、操作内容または画面内容に関する情報を出力する、
ことを特徴とする付記２１〜２５のいずれか１つに記載の情動推定方法。

（付記２７）１のユーザについて継続的に計測された心拍間隔の情報を取得し、
取得された前記心拍間隔の情報を周波数解析した結果得られる値、および、取得された前記心拍間隔の情報に基づいて算出された予測心拍間隔と実際に得られた心拍間隔とのズレを示す値との比を示す値に基づいて、前記ユーザの感情を少なくとも２種類のいずれかに分類し、
分類された結果に応じて異なる出力を行う、
処理をコンピュータに実行させることを特徴とする情動推定プログラム。

（付記２８）前記分類する処理は、
取得された前記心拍間隔の情報に対してＡＲモデルを用いて周波数解析を行って、現在の心拍数を予測する予測係数を算出し、
算出された前記予測係数における予測誤差パワーを算出し、
前記周波数解析の結果に基づいて、第２周波数より低い帯域の第２利得を算出し、
前記第２利得と前記予測誤差パワーとの第１の比を算出し、算出した前記第１の比を示す値に基づいて、前記ユーザの感情を２種類以上の感情のうち、いずれであるかを判定し、
判定された前記感情に基づいて、前記ユーザの感情を少なくとも２種類のいずれかに分類する、
ことを特徴とする付記２７に記載の情動推定プログラム。

（付記２９）前記第２利得を算出する処理は、前記第２利得として、前記第２周波数と前記第２周波数よりも低い第３周波数との間の帯域の利得を算出する、
ことを特徴とする付記２８に記載の情動推定プログラム。

（付記３０）前記分類する処理はさらに、前記周波数解析の結果に基づいて、前記第２周波数以上の周波数である第１周波数より高い帯域の第１利得を算出し、
前記判定する処理はさらに、前記第２利得と前記第１利得との第２の比を算出し、前記第１の比および前記第２の比を軸とした２次元平面上に、前記第１の比および前記第２の比に基づく点を配置し、前記点が配置された前記２次元平面の領域に基づいて、前記ユーザの感情を２種類以上の感情のうち、いずれであるかを判定する、
ことを特徴とする付記２８に記載の情動推定プログラム。

（付記３１）さらに、前記ＡＲモデルの解析結果に基づいて線スペクトル対を算出し、
前記判定する処理は、算出した前記線スペクトル対の間隔に基づくピークが、前記第２周波数と前記第３周波数との間の帯域にあるか否かに基づいて、前記ユーザの感情を判定する、
ことを特徴とする付記２９に記載の情動推定プログラム。

（付記３２）前記第２利得を算出する処理は、前記第２利得を前記線スペクトル対で挟まれた帯域に基づいて算出する、
ことを特徴とする付記３１に記載の情動推定プログラム。

（付記３３）前記判定する処理は、前記感情の判定を継続的に行い、
前記出力を行う処理は、前記判定の結果の推移を示す情報を出力する、
ことを特徴とする付記２８〜３２のいずれか１つに記載の情動推定プログラム。

（付記３４）前記判定する処理は、前記感情を第１の異常状態であるか、第２の異常状態であるかを判定する、
ことを特徴とする付記２８〜３３のいずれか１つに記載の情動推定プログラム。

（付記３５）前記判定する処理は、前記感情を第１の異常状態、第２の異常状態、あるいは、正常状態または判別不能の状態であることを示すその他の状態のいずれであるかを判定する、
ことを特徴とする付記２８〜３３のいずれか１つに記載の情動推定プログラム。

（付記３６）前記出力を行う処理は、前記第１の異常状態および前記第２の異常状態を識別可能な情報を含むアラームを出力する、
ことを特徴とする付記３４または３５に記載の情動推定プログラム。

（付記３７）前記出力を行う処理は、前記その他の状態と判定された場合には、アラームを出力しない、
ことを特徴とする付記３５に記載の情動推定プログラム。

（付記３８）前記出力を行う処理は、前記判定の結果が前記その他の状態から前記第１の異常状態または前記第２の異常状態に変化した場合、もしくは、前記判定の開始時から前記第１の異常状態または前記第２の異常状態である場合に、管理者端末に対してアラームを送信する、
ことを特徴とする付記３５に記載の情動推定プログラム。

（付記３９）前記ユーザは、所定の装置を操作しているユーザであり、
前記所定の装置は、前記判定する処理において前記感情が前記第１の異常状態または前記第２の異常状態と判定されたときに、該所定の装置で実行されていた処理内容、操作内容または画面内容に関する情報を出力する、
ことを特徴とする付記３４〜３８のいずれか１つに記載の情動推定プログラム。

１，２，３ 情動推定システム
１００，２００，３００ 感情評価装置
１０１ 心拍センサ
１０２ 表示部
１２０ 記憶部
１３０，２３０，３３０ 制御部
１３１ 取得部
１３２ 予測部
１３３ 予測誤差算出部
１３４ 第１利得算出部
１３５，２３５ 第２利得算出部
１３６，２３６ 判定部
１３７，３３７ 出力制御部
２３８ 線スペクトル対算出部
３０２ 第１表示部
３０３ 第２表示部
３１０ 通信部
４００ 所定の装置
５００ 管理者端末
６００ サーバ装置
Ｎ ネットワーク

Claims (15)

1. １のユーザについて継続的に計測された心拍間隔の情報を取得する取得部と、
   取得された前記心拍間隔の情報を周波数解析した結果得られる値、および、取得された前記心拍間隔の情報に基づいて算出された予測心拍間隔と実際に得られた心拍間隔とのズレを示す値との比を示す値に基づいて、前記ユーザの感情を少なくとも２種類のいずれかに分類する分類部と、
   分類された結果に応じて異なる出力を行う出力制御部と、
   を有することを特徴とする情動推定システム。
2. 前記分類部は、
   取得された前記心拍間隔の情報に対してＡＲモデルを用いて周波数解析を行って、現在の心拍数を予測する予測係数を算出する予測部と、
   算出された前記予測係数における予測誤差パワーを算出する予測誤差算出部と、
   前記周波数解析の結果に基づいて、第２周波数より低い帯域の第２利得を算出する第２利得算出部と、
   前記第２利得と前記予測誤差パワーとの第１の比を算出し、算出した前記第１の比を示す値に基づいて、前記ユーザの感情を２種類以上の感情のうち、いずれであるかを判定する判定部と、を有し、
   判定された前記感情に基づいて、前記ユーザの感情を少なくとも２種類のいずれかに分類する、
   ことを特徴とする請求項１に記載の情動推定システム。
3. 前記第２利得算出部は、前記第２利得として、前記第２周波数と前記第２周波数よりも低い第３周波数との間の帯域の利得を算出する、
   ことを特徴とする請求項２に記載の情動推定システム。
4. 前記分類部はさらに、前記周波数解析の結果に基づいて、前記第２周波数以上の周波数である第１周波数より高い帯域の第１利得を算出する第１利得算出部を有し、
   前記判定部はさらに、前記第２利得と前記第１利得との第２の比を算出し、前記第１の比および前記第２の比を軸とした２次元平面上に、前記第１の比および前記第２の比に基づく点を配置し、前記点が配置された前記２次元平面の領域に基づいて、前記ユーザの感情を２種類以上の感情のうち、いずれであるかを判定する、
   ことを特徴とする請求項２に記載の情動推定システム。
5. さらに、前記ＡＲモデルの解析結果に基づいて線スペクトル対を算出する線スペクトル対算出部を有し、
   前記判定部は、算出した前記線スペクトル対の間隔に基づくピークが、前記第２周波数と前記第３周波数との間の帯域にあるか否かに基づいて、前記ユーザの感情を判定する、
   ことを特徴とする請求項３に記載の情動推定システム。
6. 前記第２利得算出部は、前記第２利得を前記線スペクトル対で挟まれた帯域に基づいて算出する、
   ことを特徴とする請求項５に記載の情動推定システム。
7. 前記判定部は、前記感情の判定を継続的に行い、
   前記出力制御部は、前記判定の結果の推移を示す情報を出力する、
   ことを特徴とする請求項２〜６のいずれか１つに記載の情動推定システム。
8. 前記判定部は、前記感情を第１の異常状態であるか、第２の異常状態であるかを判定する、
   ことを特徴とする請求項２〜７のいずれか１つに記載の情動推定システム。
9. 前記判定部は、前記感情を第１の異常状態、第２の異常状態、あるいは、正常状態または判別不能の状態であることを示すその他の状態のいずれであるかを判定する、
   ことを特徴とする請求項２〜７のいずれか１つに記載の情動推定システム。
10. 前記出力制御部は、前記第１の異常状態および前記第２の異常状態を識別可能な情報を含むアラームを出力する、
    ことを特徴とする請求項８または９に記載の情動推定システム。
11. 前記出力制御部は、前記その他の状態と判定された場合には、アラームを出力しない、
    ことを特徴とする請求項９に記載の情動推定システム。
12. 前記出力制御部は、前記判定の結果が前記その他の状態から前記第１の異常状態または前記第２の異常状態に変化した場合、もしくは、前記判定の開始時から前記第１の異常状態または前記第２の異常状態である場合に、管理者端末に対してアラームを送信する、
    ことを特徴とする請求項９に記載の情動推定システム。
13. 前記ユーザは、所定の装置を操作しているユーザであり、
    前記所定の装置は、前記判定部において前記感情が前記第１の異常状態または前記第２の異常状態と判定されたときに、該所定の装置で実行されていた処理内容、操作内容または画面内容に関する情報を出力する、
    ことを特徴とする請求項８〜１２のいずれか１つに記載の情動推定システム。
14. １のユーザについて継続的に計測された心拍間隔の情報を取得し、
    取得された前記心拍間隔の情報を周波数解析した結果得られる値、および、取得された前記心拍間隔の情報に基づいて算出された予測心拍間隔と実際に得られた心拍間隔とのズレを示す値との比を示す値に基づいて、前記ユーザの感情を少なくとも２種類のいずれかに分類し、
    分類された結果に応じて異なる出力を行う、
    処理をコンピュータが実行することを特徴とする情動推定方法。
15. １のユーザについて継続的に計測された心拍間隔の情報を取得し、
    取得された前記心拍間隔の情報を周波数解析した結果得られる値、および、取得された前記心拍間隔の情報に基づいて算出された予測心拍間隔と実際に得られた心拍間隔とのズレを示す値との比を示す値に基づいて、前記ユーザの感情を少なくとも２種類のいずれかに分類し、
    分類された結果に応じて異なる出力を行う、
    処理をコンピュータに実行させることを特徴とする情動推定プログラム。

Images