JP2005352154A - 感情状態反応動作装置 - Google Patents

Abstract

【課題】 ユーザの発する音声からユーザの感情状態を客観的に把握し、かつユーザ又は他者に対して適切な対応動作を選択し実行する感情状態反応動作装置及びその方法を提供すること。
【解決手段】 感情状態反応動作装置１に、音声情報を入力する音声入力手段２１と、音声情報から該音声情報の音韻スペクトルに係る特徴量を抽出する音韻特徴量抽出手段２２と、その音韻特徴量を入力して、予め備えた状態判断テーブル３１に基づき音声情報の感情状態を判断する状態判断手段２３と、感情状態の結果を入力して、予め備えた対応動作選択テーブル３２に基づき対応動作処理を決定する対応動作選択手段２５と、対応動作処理を実行する対応動作実行手段２６とを備える。
【選択図】 図１

Description

本発明は、ユーザの発する音声からそのユーザの感情状態を判断して適切な対応動作を実行する感情状態反応動作装置に関し、特に音声の音韻スペクトルからユーザの感情状態を判断し、ユーザ又は他者に対して該感情状態の報知等の所定動作を行う感情状態反応動作装置に係る。

従来から音声情報から話者の感情状態を認識する方法が知られている。例えば特許文献１に開示される対話処理装置では、ユーザから入力された語句の概念を抽出し、その語句の概念に基づいて、ユーザの感情を推定し、その感情を表す感情情報を出力する。さらに、感情情報に基づいてユーザに出力する出力文を生成する機能を有している。

特開２００１−２１５９９３号公報

本技術は、音響情報を用いてこれを音声認識し、得られた語句の概念が抽出され、その概念に基づいて、ユーザの感情が推定される。そして、その結果推定された感情情報に基づいて、ユーザに出力する出力文が生成される。また、ロボットから合成音を出力してユーザに応答するなど、ユーザインタフェースとして提供することも提案されている。

また、特許文献２に開示される音声制御装置では、話者の意図にあった細かな制御を目的として、人間の状態（感情、体調等）による音声指示の変化を的確に判断し、単なる音声命令だけでなく、その状態を加味して出力する装置を開示している。
本装置によって音声命令に含まれるニュアンスにも対応した制御を可能にしており、例えばテレビのリモコンに搭載して音量調節の程度を変化させることなどが可能である。

特開平１０−５５１９４号公報

さらに、特許文献３に開示される構成では、音声認識時に、感情の変化に伴う音韻スペクトルの変形を加味し、認識結果と共に音声がもっている話者の感情の度合を示す感情レベルを出力する技術を開示している。

特開平１１−１１９７９１号公報

上述した従来技術のように音声から人間の感情の状態を得る方法が開発されているが、特許文献１の方法は、ユーザとの対話を目的としてユーザの感情状態を知ろうとするものであり、特許文献２及び３はユーザの感情状態を知ることでユーザが行った命令の程度を決定するものである。

これに対して、音声情報からユーザの感情状態を判断してユーザの作為・不作為の行動を規制するような技術、例えばユーザに現在の感情状態を抑制させるように働きかけたり、休息が必要な場合には休憩をとるように促したりするような対応動作をとる技術は提供されていない。
このような技術は、程度を知るためのものではなく、感情状態そのものを得るという点で、上記従来技術では提供されていない技術である。

ところで、上記のうち特許文献１に係る技術によれば、対話の結果としてユーザの感情状態を変化させたり、何らかの行動を促すことは考えられる。しかし、該技術によると音声認識をすることでユーザが表現する感情状態は正確に把握できるものの、ユーザが意識的に表現していない感情状態は得ることができず、最終的にユーザに対して何らかの行動を促すようなシステムには適用することができない。

例えば、ユーザが眠い場合に、特許文献１に係る技術では「眠い」と発声すれば「眠りなさい」と返答することはできても、ユーザが意識的に「眠い」と発声する場合は、そもそも返答を行わずともユーザが自発的に睡眠をとることが期待できるので、そのような装置は必要性が乏しい。むしろ、ユーザの意識にかかわらず、眠いという感情状態であると判断される場合には、ユーザ自身や他者に対してそれを知らしめ、適切な対応動作をとることが必要である。

さらに、特許文献１ないし３のいずれにおいても、入力された音声情報に対してユーザにかかわらず画一的な感情状態の判断を行うように構成しているが、感情状態は、ユーザ毎の話し方の特徴によって通常の状態との相違を判断する必要があり、従来のような画一的な方法では正確な判断を行うことができない。

本発明は従来技術の有する問題点に鑑みて創出されてものであり、ユーザの発する音声からユーザの感情状態を客観的に把握し、かつユーザ又は他者に対して適切な対応動作を選択し実行する感情状態反応動作装置とそれに係る方法を提供することを目的とする。

本発明は、上記の課題を解決するために、次のような感情状態反応動作装置を提供する。
すなわち、請求項１に記載の発明は、ユーザの発する音声からそのユーザの感情状態を判断して適切な対応動作を実行する感情状態反応動作装置であって、音声情報を入力する音声入力手段と、該音声情報から該音声情報の音韻スペクトルに係る特徴量を抽出する音韻特徴量抽出手段と、該音韻特徴量を入力して、予め備えた状態判断テーブルに基づき音声情報の感情状態を判断する状態判断手段と、該感情状態を入力して、予め備えた対応動作選択テーブルに基づき対応動作処理を決定する対応動作選択手段と、該対応動作処理を実行する対応動作実行手段とを備えたことを特徴とする。

請求項２に記載の発明は、上記請求項１における感情状態反応動作装置が、所定の契機又は前記状態判断手段における判断結果に基づいて、ユーザに対し発声を促す発声要求手段を備えることを特徴とするものである。

請求項３に記載の発明は、上記請求項１又は２の感情状態反応動作装置が、感情状態学習用テーブルと感情状態学習手段を備え、該感情状態学習手段は、該感情状態学習テーブルに基づいて所定の機械学習モデルにより前記音韻特徴量と感情状態との関連を取得して状態判断テーブルに学習結果を保存し、前記状態判断手段は、該状態判断テーブルに基づいて上記機械学習モデルによる感情状態の判断を行うことを特徴とする。

請求項４に記載の発明は、請求項１ないし３の感情状態反応動作装置において、対応動作学習用テーブルと対応動作学習手段を備え、該対応動作学習手段は、該対応動作学習テーブルに基づいて所定の機械学習モデルにより前記感情状態と選択する対応動作との関連を取得して対応動作選択テーブルに学習結果を保存し、前記対応動作選択手段は、該対応動作選択テーブルに基づいて上記機械学習モデルによる対応動作の選択を行うことを特徴とする。

請求項５に記載の発明は、上記請求項３又は４に記載の発明において、機械学習モデルに、最大エントロピーモデル、ニューラルネットワークモデル、サポートベクトルマシンモデルのいずれかを用いていることを特徴とする。

請求項６に記載の発明は、前記請求項１ないし５に記載の音韻特徴量抽出手段が、所定の音声語句における音素列の時間的間隔を特徴量として抽出することを、請求項７に記載の発明は、所定の音声語句における音韻スペクトルの強度を特徴量として抽出することを、請求項８に記載の発明は、所定の音声語句における音韻スペクトルの周波数を特徴量として抽出することを、それぞれ特徴とするものである。

請求項９に記載の発明は、上記請求項１ないし８の発明において、対応動作処理に、発光手段からの発光処理、又は音声発生手段からの音声発生処理を含むことを特徴とする。

請求項１０に記載の発明は、上記請求項１ないし８の発明の感情状態反応動作装置が、照明手段を備える構成であって、対応動作処理として照明光の調光処理を行うものである。

また、請求項１１に記載の発明は、感情状態反応動作装置が、所定の風景画像を少なくとも表示可能な画像表示手段を備える構成であって、対応動作処理に、画像表示手段において表示する風景画像の切り替え表示処理を含むことを特徴とする発明である。

請求項１２に記載の発明は、上記請求項１ないし８の発明において、感情状態を送信する送信機及び、それを受信する受信機を備え、前記対応動作処理に、送信機から該感情状態を送信する処理と、受信機において該感情状態を受信する処理及び、発光手段からの発光処理、又は音声発生手段からの音声発生処理とを含むことを特徴とする。

請求項１３に記載の発明は、上記請求項１ないし８の発明において、ヘッドフォン部およびマイク部を少なくとも備えたヘッドセット形状をなし、ユーザの音声を音声情報としてマイク部で入力すると共に、対応動作実行手段が、状態判断手段により警告すべき状態であると判断した際には、該ユーザに対してヘッドフォン部から警告音声の発生処理を行うことを特徴とする。

請求項１４に記載の発明は、上記請求項１ないし８の発明において、感情状態反応動作装置をヘルメットに搭載することを特徴とする。

本発明は、次のような感情状態反応動作方法として提供することもできる。
すなわち、請求項１５に記載の発明は、ユーザの発する音声からそのユーザの感情状態を判断して適切な対応動作を実行処理する感情状態反応動作方法であって、音声入力手段により、音声情報を入力する音声入力ステップ、音韻特徴量抽出手段により、該音声情報から該音声情報の音韻スペクトルに係る特徴量を抽出する音韻特徴量抽出ステップ、状態判断手段により、該音韻特徴量を入力して、予め備えた状態判断テーブルに基づき音声情報の感情状態を判断する状態判断ステップ、対応動作選択手段により、該感情状態を入力して、予め備えた対応動作選択テーブルに基づき対応動作処理を決定する対応動作選択ステップ、対応動作実行手段により、該対応動作処理を実行する対応動作実行ステップの各ステップを含むことを特徴とする。

また、請求項１６に記載の感情状態反応動作方法は、予め用意した感情状態学習用テーブルを用い、上記の音声入力ステップないし対応動作実行ステップに先立って、感情状態学習手段により、該感情状態学習テーブルに基づいて所定の機械学習モデルにより前記音韻特徴量と感情状態との関連を取得して状態判断テーブルに学習結果を保存する感情状態学習ステップの処理を行う。
そして、請求項１５に開示される状態判断ステップにおいて、状態判断テーブルに基づいて上記機械学習モデルによる感情状態の判断を行うことを特徴とするものである。

請求項１７に記載の感情状態反応動作方法は、予め用意した対応動作学習用テーブルを用い、前記音声入力ステップないし対応動作実行ステップに先立って、対応動作学習手段により、該対応動作学習テーブルに基づいて所定の機械学習モデルにより前記感情状態と選択する対応動作との関連を取得して対応動作選択テーブルに学習結果を保存する対応動作学習ステップの処理を行う。
そして、上記の対応動作選択ステップにおいて、対応動作選択テーブルに基づいて上記機械学習モデルによる対応動作の選択を行うことを特徴とする。

以上の発明により次の効果を奏する。すなわち、請求項１及び１５に記載の発明によると、状態判断テーブル及び対応動作選択テーブルにより、音声認識などを行うことなく、音韻特徴量から状態判断テーブルに基づいてユーザの感情状態を判断し、さらに対応動作選択テーブルに基づいて最も適切な対応動作を実行することができる。従って、従来のように画一的な動作ではなく、柔軟な対応動作の選択を行うことも可能である。

また、請求項２に記載の発明では、所定の契機においてユーザの感情状態を判断する処理を行うことができるので、定期的にユーザの感情状態を取得したり、ユーザの所作に応じて感情状態を取得することができる。また、状態判断手段における判断結果により、判断が困難な場合や、より詳細な判断が必要な場合にも感情状態を取得することができる。

請求項３に記載の発明では、感情状態の判断に際して機械学習を用いることができるので、ユーザの個性に応じた状態判断に寄与し、より正確な状態判断を行うことが可能である。

請求項４に記載の発明では、対応動作選択に際して機械学習を用いることができるので、感情状態に応じた適切な対応動作の選択に寄与する。すなわち、感情状態に応じて画一的な対応動作を取るのではなく、複数のパラメータで表される感情状態に対しても、最適な対応動作を選択できる。

請求項１６又は１７に記載の発明によれば、請求項３及び４に記載される機械学習を用いた手法を感情状態反応動作方法として提供することもできる。

請求項５に記載の発明では、機械学習の学習モデルとして公知の最大エントロピーモデル、ニューラルネットワークモデル、サポートベクトルマシンモデルを用いることで、既知の学習エンジンを採用し、簡便に本発明を実施することができる。

請求項６ないし８に記載の発明によれば、音韻スペクトルの特徴量のうち、感情状態を取得するのに便宜な音素列の時間的間隔、スペクトルの強度、周波数等を用いることができるので、ユーザの感情状態を高精度に習得することに寄与する。

請求項９に記載の発明によれば、ユーザの感情状態に応じて、発光処理や音声発声処理により、ユーザ自身や他者に対して感情状態が所定の状態にあることを報知することができる。

請求項１０に記載の発明では、照明光を調光することができるので、ユーザの室内環境を変化させることができる。また、請求項１１の構成では、風景画像を表示することで、例えば仮想的な窓としてユーザの気分に合わせた風景を楽しむことができる。

請求項１２に記載の発明によれば、ユーザの感情状態を送信機及び受信機により離れた場所に無線で感情状態を送信することができるので、ユーザの感情状態を外部から管理することができる。

請求項１３に記載の発明によれば、本感情状態反応動作装置がヘッドセット形状をなすため、装着性及び携帯性に優れ、かつユーザの音声を容易に入力することができる。
また、請求項１４に記載の発明においても、ヘルメットに搭載することにより、工事現場などにおける作業員の感情状態の管理を容易に行うことができる。

以下、本発明の実施形態を、図面に示す実施例を基に説明する。なお、実施形態は下記に限定されるものではない。

図１は本発明の第１の実施形態に係る感情状態反応動作装置（１）の構成図である。本装置は、例えば公知の音声入力端子又はマイクを備えたパーソナルコンピュータによって実現することが簡便である。すなわちハードウェアとしては音声の入力を司るマイク（１０）と、各種信号処理・演算処理を行うＣＰＵ（２０）、該ＣＰＵ（２０）に接続され必要に応じてデータの入出力を行う外部記憶装置であるハードディスク（３０）、ＣＰＵ（２０）からの命令に従って情報を表示するモニタ（４０）、音声を発声させるスピーカ（４１）、発光可能なランプ（４２）を備えている。

そして、ＣＰＵ（２０）の音声入力部（２１）では、ユーザがマイクに対して発した音声をコンピュータで処理可能なディジタル信号の音声情報に変換処理する。一般にアナログディジタル変換を行うものであり、特にサウンドボードによって処理される場合が多い。

次に、音韻特徴量抽出部において、入力された音声情報から音韻スペクトルを取得し、その音韻特徴量を抽出する。
本発明では、非特許文献４に開示されるような公知のソフトウェアを実行して音声情報から音声波形・スペクトルを算出処理し、音韻特徴量を抽出するのが簡便である。

Windows（登録商標）対応音声処理ソフトウェア 「音声工房 Pro」http://www.sp4win.com/sp4win/pro/pro.htm

本発明では、例えばユーザが定期的に発声する単語を入力して、その際のユーザの感情状態を判断するように構成し、例えば「オーライ」という単語についてユーザが「元気」なのか、「眠い」のか、「怒っている」のか、といった感情状態の判断を行う。

図２は音韻特徴量抽出部（２２）及び状態判断部（２４）における処理を詳細に説明する流れ図である。図のように、音韻特徴量抽出部（２２）では、音韻スペクトルから強度（５１）、テンポ（５２）、周波数（５３）をそれぞれ測定する。
具体的には上述した公知のソフトウェア等により、図３に示す音韻スペクトルが得られる。図３において上段は、感情状態が「元気」（通常）であるときの音声波形、下段は該音声の強度（パワー）を示しており、概ね１．３秒程度の発声時間内の時間的変化である。
さらに、図４は感情状態が「眠い」時の音声波形（上段）及び強度（下段）を示している。

各感情状態における強度を比較すると、「元気」時の最大パワーが−５ｄＢ程度、「眠い」時の最大パワーが−１０ｄＢ程度であり、「元気」時には大きな発声がされていることがわかる。強度測定（５１）では、最大強度の他、最低強度、平均強度、最低強度と最大強度の差などを測定値とすることができる。

音韻特徴量抽出部（２２）においてテンポを抽出する際には、公知の任意の手法を用いることができるが、例えば強度が所定の閾値を超えた各時刻を取得し、その時刻の間の時間をテンポとして得ることが考えられる。
すわなち、図３において、最初に閾値を超えた時刻をｔ１、再び閾値以下になった後に再度閾値を超えた時刻をｔ２とすると、これらはそれぞれ「オー」の発声開始時刻、「ライ」の発声開始時刻であり、この間の時間ｔ２−ｔ１がテンポとなる。

一般的にユーザが「眠い」感情状態の時、話すテンポが遅くなることが知られており、図４に着目すると、上記の時刻は音声波形上でそれぞれｔ３、ｔ４のときであることがわかる。図３、図４の横座標はそれぞれ同一であり、両図の比較から明らかにテンポが遅くなっている。
テンポ測定（５２）では、上記のように各音素の開始時刻間の間隔や、各音素における最大強度となった時刻間の間隔、あるいは強度のグラフから各音素間で強度が０に近づき谷となる間の時間を求めることもできる。

次に、図５及び図６は音声情報からピッチ（基本周波数）の時間変化を示したものである。両図の比較においても、基本周波数の最低値及び最大値が、「元気」時にはそれぞれ１２０Ｈｚ、１４０Ｈｚであるのに対し、「眠い」時には１００Ｈｚ、１１０Ｈｚ程度とやや低くなることがわかる。
周波数測定（５３）では、ピッチの最大値および最小値、又は平均値などを測定値として用いることができる。

本発明の音韻特徴量抽出部（２２）ではこのように基本周波数を取得する構成の他、音声波形のスペクトルの中で、特にエネルギーが集中している周波数成分で、声道の共鳴周波数を表すホルマントを抽出する構成をとることもできる。
図７及び図８はホルマント周波数を示すグラフである。両図の比較から「元気」時にはホルマント周波数の分散が大きいのに対し、「眠い」時には平坦な分布となっており、全体に抑揚が少なくなっている。
この場合、各分布値から分散を算出し、比較することにより、感情状態の特性を得ることができる。

音韻特徴量抽出部（２２）では以上のように音韻スペクトルから強度、テンポ、周波数の各特徴量を得て、状態判断部（２４）に送る。これらの各特徴量はＣＰＵ（２０）に接続される公知のメモリ（図示しない）等に一時的に記録されるか、ハードディスク（３０）に格納される。

抽出された音韻特徴量は状態判断部（２４）において状態判断テーブル（３１）と比較されて感情状態の判断に用いられる。
すなわち、本発明において感情状態を判断する際には複数の音韻特徴量から、状態判断テーブル（３１）との近似度を点数化し、合計点の最も高いものをユーザの感情状態と判断する。

例えば、ユーザの感情状態として、感情状態Ａ、感情状態Ｂ、感情状態Ｃの３つが予め分類されており、それぞれの確度を順次算出する。これらの３つは上記の「元気」「眠い」「怒っている」などに対応している。
そして、まず強度測定（５１）の結果から、感情状態判断テーブル（３１）を参照して強度から見たときの確度を決定する。次の表１は感情状態判断テーブル（３１）の一例である。

本発明では、強度に対して複数のユーザ状態が重複して与えられていることを特徴とし、例えば最大強度が０〜−２ｄＢであった場合には、「怒っている」確度は０．８、「元気」である確度は０．７、「眠い」の確度は与えられていないため確度を０として設定する。
すなわち、強度に関しては各感情状態確度算出処理（５４）（５５）（５６）でそれぞれの感情状態の確度が上記感情状態判断テーブル（３１）から決定される。

次に、テンポ測定（５２）の結果についても感情状態判断テーブル（３１）に備えられた次のような表から各感情状態の確度を決定する。
例えば、図３、図４の音韻スペクトルでは、「元気」時のテンポが０．２２秒、「眠い」時のテンポが０．５５秒程度であり、感情状態判断テーブル（３１）からテンポに関しては、図３の音声情報が入力されると、「怒っている」確度が０．３、「元気」確度が０．８、「眠い」確度が０．１となる。

同様に、周波数測定（５３）の結果についても感情状態判断テーブル（３１）に備えられた表３から各感情状態の確度を決定する。
図５、図６の音韻スペクトルによれば、「元気」時の基本周波数の最大値及び最小値の中間値（平均値）は１３０Ｈｚであり、この場合に「怒っている」確度は０．６、「元気」な確度は０．７、「眠い」確度は０となる。

従って、感情状態Ａ確度算出処理（５４）で例えば「元気」な確度を算出する場合には、音声情報として「元気」時の音韻スペクトルが得られたときに強度からは０．７、テンポからは０．８、周波数からは０．７が決定し、各合計は２．２．である。このとき、ユーザの感情状態が「元気」な確度は２．２と算出される。

さらに感情状態Ｂ確度算出処理（５５）で「怒っている」確度を算出する場合、同様に「元気」時の音韻スペクトルからは、強度に関して０．５、テンポに関して０．３、周波数に関して０．６が得られるから、「怒っている」確度は１．４と算出される。
同様に感情状態Ｃ確度算出処理（５６）で「眠い」確度は、強度に関して０、テンポに関して０．１、周波数に関して０であり、確度０．１と算出される。

以上の結果、状態判断部（２４）では図３のような音声情報が入力された場合には、「元気」な確度が２．２、「怒っている」確度が１．４、「眠い」確度が０．１であるとユーザの感情状態を判断する。
このように、従来の方法では１つの感情状態の程度でしか表すことができなかったのに対し、本発明では複数の感情状態に対して同時にそれらの確度を決定することができる。

ところで、本発明ではユーザに対して所定の契機で発声を要求する発声要求部（２３）を設けることができる。
ここで、所定の契機とは、例えば前の音声入力から１０分毎にユーザに対して発声を要求したり、或いはユーザが所定の所作を行ったことをＣＰＵ（２０）に接続する図示しないセンサにより感知したりすることである。
ユーザに対してはスピーカ（４１）から発声を促すようなメッセージを流したり、モニタ（４０）やランプ（４２）により合図をするようにしてもよい。

また、状態判断部（２４）において、いずれかの状態であるのか判断が付かなかった場合に、再度発声を要求するようにしてもよい。例えば、上記の例で「元気」な確度と「怒っている」確度にほとんど差がなく、これらを区別する必要がある場合に、ユーザに別の言葉を発声させることで改めて状態を判断するようにする。

本構成により、本発明ではユーザの意思や状態に関わらず、定期的に感情状態を管理することが可能であり、「眠い」「怒っている」といった感情を適宜、正確に把握することができる。

次に対応動作選択部（２５）の動作を説明する。図９には対応動作選択処理の流れ図を示す。
状態判断部（２４）で判断された感情状態から、対応動作選択テーブル（３２）を参照し、最適な対応動作を選択する。ここでは説明に便利なように対応動作をＡ〜Ｃの３種類とし、それらの実行の要否を順次判定するようにしているが、対応動作の種類は対応動作選択テーブル（３２）に含まれている種類数に応じて随時変化する。

対応動作選択テーブル（３２）には感情状態と、対応動作との対照表が格納されている。表４は対照表の一例である。

状態判断結果を対応動作選択部（２５）に入力すると、対応動作選択テーブル（３２）の対応動作の種類、ここではＡ〜Ｃだけ順にそれらを実行するか否か（６１）（６２）（６３）判定し、実行する対応動作については対応動作実行部（２６）で実行処理する。
ここで、択一的にいずれかの対応動作をとるように判定を一度にしてもよいし、図９のように順次実行してもよい。順次実行する場合には、上位の判定で対応動作を実行した場合には下位の判定を行わない構成でもよい。

判定には公知の手法により上位対照表との類似度を調べることが簡便であり、例えば最も簡単には各感情状態の確度と、状態判断部（２５）から得られた各感情状態の確度とのそれぞれの差の絶対値を求め、その値が所定の閾値以下となる場合に実行すべき対応動作を実行する判定を行えばよい。

一例として、感情状態Ａ，Ｂ，Ｃの確度がそれぞれ２．０、１．８、０．３と入力されたとき、確度の差の絶対値は、表４の対応動作Ａの各確度より、０．２、０．４、０．２であるから合計は０．８になる。
ここで例えば閾値が１．０であった場合、対応動作Ａを実行すると判定（６１）する。

対応動作としては、例えば「元気」と判定した場合には、モニタ（４０）において「作業続行」などと表示してユーザの感情状態が良好であることをユーザ自身や他者に報知する。
また「眠い」と判定された場合には、ランプ（４２）により警告灯を点灯させたり、モニタ（４０）に「休息を取ってください」などと警告することができる。さらに、「怒っている」と判定された場合には、モニタ（４０）に「感情が高ぶっています。落ち着いてください」など、ユーザ自身に自重を求めるように促すことができる。

本発明において対応動作は任意に決めることができるが、モニタ（４０）により感情状態に応じた風景画像を表示することもできる。この場合、あらかじめハードディスク（３０）に複数の風景画像データを格納し、対応動作選択部（２５）でいずれの風景画像を表示するか選択する。
そして、選択結果に基づいて、対応動作実行部（２６）でハードディスク（３０）から該当する風景画像データを読み出し、モニタ（４０）に表示する。
本構成によれば、感情状態に応じてモニタにより好ましい風景画像を表示することができる。特に、モニタ（４０）を窓型に形成して、擬似的な窓として部屋に設けることもできる。

このように、本発明ではユーザの音声を入力して、ユーザの意思に係わらず感情状態を把握し、ユーザ自身や他者にそれを報知することができるため、作業時には安全性を高めたり、感情を平静に保つようにコントロールするように促すこともできる。
さらに、複数の感情状態に関してもそれぞれに適切な対応動作を取ることができるので、例えば「眠い」かつ「気が散っている」などの場合に、イスを振動させる動作と共に、ランプを点灯するなど平行して動作を実行することができる。

図１０には、本発明の第２の実施形態による感情状態反応動作装置（１ａ）の構成図を示す。本実施例は上記第１の実施形態に加えて感情状態学習部（１００）をＣＰＵ（２０）に、該感情状態学習部（１００）で学習に用いるための学習データが格納された感情状態学習テーブル（１０１）をハードディスク（３０）に備えている。

感情状態学習テーブル（１０１）には、ユーザが様々な感情状態にあるときの音声と、その際の感情状態を主観的及び客観的に評価した結果が格納されており、例えば表５のように構成されている。

そして、感情状態学習テーブル（１０１）はまず音韻特徴量抽出部（２２）に入力されて、実施例１の時と同様に音韻特徴量を抽出する。抽出された音韻特徴量は、感情状態学習部（１００）に入力し、本実施形態に係る学習処理を行う。
ここで感情状態の学習には公知の機械学習モデルを用いることができるが、一例としてサポートベクトルマシンを用いる方法を次に説述する。

サポートベクトルマシン（以下、ＳＶＭ）については、パターン認識などにおいて複数の特徴量（特徴ベクトルで表される）から、その対象がどのクラスに属 するかを判定する識別器として用いられている。
本件発明者らによる論文（非特許文献５）では、これを自然言語処理に適用し、ＳＶＭを用いた単語多義性解消問題に対する解法を示している。

「SENSEVAL2J辞書タスクでのＣＲＬの取り組み」電子情報通信学会 NLC2001-40

ＳＶＭは分類の数が２個のデータを扱うものであるため、本論文ではペアワイズ法と呼ばれる手法を組み合わせ、単語多義性解消に必要な３個以上の分類を可能にする構成を開示している。
ＳＶＭは、空間を超平面で分割することにより２つの分類からなるデータを分類する手法である。このとき、２つの分類が正例と負例とからなるものとすると、学習データにおける正例と負例の間隔（マージン）が大きいものほどオープンデータで誤った分類をする可能性が低いと考えられ、このマージンを最大にする超平面を求め、それを用いて分類を行う。

図１１はこのときのより小さなマージンの空間と、より大きなマージンの空間を表す図である。
図中において、白点（１１０）は正例、黒点（１１１）は負例を表し、実線は空間を分割する超平面（１１２）を、波線はマージン領域の境界を表す面（１１３）を意味している。

通常、学習データにおいてマージンの内部領域に少数の事例が含まれていてもよいとする手法の拡張や、超平面の線形の部分を非線形に拡張（カーネル関数の導入）がなされたものが用いられる。以下、カーネル関数を導入する手法について説明を続ける。

この拡張された方法は、以下の識別関数を用いて分類することと等価であり、その識別関数の出力値が正か負かによって２つの分類を判別することができる。
ＳＶＭによる分類に関する定式化の一例について説明する。尚、ここで示す定式化は公知のものである。まず、ｘを２次元ベクトル、ｘ_iをｉ番目のサポートベクトル、Ｋをカーネル関数、ｙ_iは、後述するようにサポートベクトルｘ_i（ｉ＝１，２・・・ｌ、ｙ_i∈｛１，−１｝）に対する期待される出力値である。ｂはパラメータである。

関数sgnは、数２によって定義される。

また、各α_iは数４と数５の制約のもと、数３のＬ（α）を最大にする場合のものである。

また、カーネル関数Ｋは数６のものを用いている。

ここで、Ｃ，ｄは実験的に設定される定数である。例えばＣを１，ｄを２に固定することができるが、適宜設定することができる。
ここで、α_i＞０となるサポートベクトルｘ_iについて、数１の和をとっている部分は、この事例のみを用いて計算される。つまり実際の解析には学習データのうち、サポートベクトルと呼ばれる事例のみしか用いられない。

以上に示すように、サポートベクトルマシン法は、分類の数が２個のデータを扱うもので、より多くの分類を行う場合に、従来では前記ペアワイズ手法など別の手法を組み合わせていた。
ところで、カーネル関数としては、ポリノミアル（Ｐｏｌｙｎｏｍｉａｌ）、ガウシャン・ラジアル・ベイシス・ファンクション（Ｇａｕｓｓｉａｎ Ｒａｄｉａｌ Ｂａｓｉｓ Ｆｕｎｃｔｉｏｎ）、エクスポネンシャル・ラジアル・ベイシス・ファンクション（Ｅｘｐｏｎｅｎｔｉａｌ Ｒａｄｉａｌ Ｂａｓｉｓ Ｆｕｎｃｔｉｏｎ）、マルチレイヤー・パーセプション（Ｍｕｌｔｉ−Ｌａｙｅｒ Ｐｅｒｃｅｐｔｉｏｎ）、フーリエー・シリーズ（Ｆｏｕｒｉｅｒ Ｓｅｒｉｅｓ）、スプライン（Ｓｐｌｉｎｅｓ）、ビースプライン（Ｂｓｐｌｉｎｅｓ）、アディティブ・カーネル（Ａｄｄｉｔｉｖｅ Ｋｅｒｎｅｌｓ）、テンソル・プロダクト・カーネル（Ｔｅｎｓｏｒ Ｐｒｏｄｕｃｔ Ｋｅｒｎｅｌｓ）等の関数を用いることもできる。

上記の定式に従って、複数の特徴量を特徴ベクトルｘ_iで与えたときに、サポートベクトルｘ_i（ｉ＝１，２・・・ｌ、ｙ_i∈｛１，−１｝）に対する期待される出力値ｙ_iを得る。
感情状態学習部（１００）においては感情状態学習テーブル（１０１）を用いてカーネル関数を定義し、状態判断テーブルに該関数を保存する。従って、本実施例では状態判断テーブル（３１）は実施形態１で示した対応表ではなく、関数として格納されることになる。

これに伴って、ユーザの感情状態を判断する場合には、まず音声入力部（２１）から音声を入力して音韻特徴量抽出部（２２）で特徴量を抽出し、状態判断部（２４）において学習モデルを用い、状態判断テーブル（３１）を参照しながら、状態の判断結果を出力する。
本発明はこのような感情状態の判断に機械学習を用いた点に特徴を有し、機械学習モデルとしては上述したＳＶＭの他、ニューラルネットワーク手法、最大エントロピー手法などを適宜用いることができる。

本発明はこのような感情状態の判断に機械学習を用いた点に特徴を有し、機械学習モデルとしては上述したＳＶＭの他、ニューラルネットワーク手法、最大エントロピー手法などを適宜用いることができる。
ニューラルネットワーク手法の場合には、入力に対応する望ましい出力の組を例示してニューラルネットワークの重みを決定する方法であるバックプロパゲーション（逆向き伝搬）を用いるのが好ましく、非特許文献５、６などに開示されている。

「パターン識別」 新技術コミュニケーションズ、Richard O. Duda ら著、尾上守夫訳、 http://sail.i.ishikawa-nct.ac.jp/pattern/nn/nn3.html

最大エントロピー手法の場合にも、例えば非特許文献７に開示される本件発明者らによる手法によれば、複数の特徴量（特徴ベクトルで表される）から、その対象がどのクラスに属 するかを判定する識別器として機能させることができる。

「機械学習手法を用いた名詞句の指示性の推定」 自然言語処理、村田 真樹，内元 清貴，馬 青，井佐原 均、2000年 1月，7巻，1号，p.31 〜 p.50

図１２には、本発明の第３の実施形態による感情状態反応動作装置（１ｂ）の構成図を示す。本実施例は上記第１の実施形態に加えて対応動作学習部（１２０）をＣＰＵ（２０）に、該対応動作学習部（１２０）で学習に用いるための学習データが格納された対応動作学習テーブル（１２１）をハードディスク（３０）に備えている。

対応動作学習テーブル（１２１）には、状態判断部（２４）による判断結果のサンプルと、それに対する適切な対応動作を格納している。一例としては表６のような態様である。なお、ここで状態判断結果は実施形態１で示したように、いくつかの次元を有するベクトル量として表すことができるので、表中でもベクトル量として定義している。

該対応動作学習部（１２０）では対応動作学習テーブル（１２１）により上記実施形態２と同様の方法で例えばＳＶＭを用いて状態判断結果と、それに対応する最も適切な対応動作を選択できるように機械学習する。
その結果は関数の形式で、対応動作選択テーブル（３２）に記録される。学習結果は対応動作選択部（２５）で機械学習モデルを用いた選択処理に使用される。

以上、実施形態２及び実施形態３は互いに組み合わせて用いることもできる。このような機械学習モデルを用いた方法によれば、従来のように画一的に感情状態を判断するのではなく、複数の音韻スペクトルの特徴量を用いて、最も適当な感情状態の判断を行うことができる。また、ユーザに合わせて学習させることで、ユーザの話し方、音声の特徴などに係わらず、正確な感情状態の判断を行うことができる。
全てのユーザについて学習させずとも、例えば「早口の男性」「声の低い女性」など、ある程度特徴を分けて学習させ、使用時に選択するだけでも判断の精度を上げることができる。
したがって、本実施形態２、３は判定の高精度化に大きく寄与する構成である。

さらに、本発明の実施形態につき付言する。
第４の実施形態として、室内や舞台における照明の照度を調整する構成を示す。図１３は上記対応動作実行部（２６）における対応動作の実行処理を説明する図である。
対応動作選択部（２５）において例えば明るい、普通、暗いの３種類の照度を対応動作Ａ〜Ｃとして選択する。感情状態が暗い時には暗く、明るい時には明るく、というように選択してもよい。

本構成では対応動作実行部（２６）において、該対応動作に応じて調光制御指令を発信する。該対応動作実行部（２６）と照明装置（１３０）はケーブルで接続されており、該調光制御指令が調光制御回路（１３１）に入力すると、公知の電圧変換によるランプ（１３２）の照度調整が行われる。

図１４には、上記実施形態１と同様の機能を有する感情状態反応動作装置（１ｃ）であって、音声入力部（２１）から状態判断部（２４）までの送信ユニットと、対応動作選択部（２５）及び対応動作実行部（２６）の受信ユニットとに分離する構成を示す。
各ユニットには、状態判断部（２４）による判断結果を無線送信する状態送信部（１４０）と、それを受信する状態受信部（１４１）を付設する。無線通信の方法としては、公知の無線ＬＡＮやBluetooth通信などによって実現するのが簡便である。

本構成によると、例えば工事現場においてユーザ（作業員）の声を入力し、状態を判断した上で、その情報を無線で送信し、管理事務所に設置された受信ユニット（サーバ）で対応動作の選択及び実行を行う。一例として、サーバのモニタ上で工事責任者が各作業員の感情状態を一括把握することが可能である。
送信ユニットにおいては、状態を判断する処理のみを行い、対応動作についてはサーバ側に依存するため、例えばサーバ側においてネットワークと接続し、感情状態をネットワーク上で管理することなども可能である。

また、対応動作として、さらに受信ユニットから送信ユニットに向けた通信手段を設け、警告音声を送信するように構成してもよい。この場合、双方向通信となるため、状態送信部及び状態受信部は相互通信可能な手段とする。
本構成では、作業員に状態判断のみを行うユニットを携帯させて、適宜発声要求（２３）により音声を入力し、判断結果をサーバに送信する。警告が必要な感情状態の作業員に対してはサーバ側から警告を発するようにする。これにより、対応動作が例えば音声合成などの複雑な処理を要する場合でも、サーバにより一括処理できるため、作業員のユニットは小型化、低コスト化することができる。

以上説述した本発明に係る感情状態反応動作装置は、ユーザの頭部に装着するヘッドフォンと、該ヘッドフォンと連結し、口部付近にマイクを位置させるヘッドセット形状で構成することもできる。
この場合、実施形態１ないし３の場合には、ハードディスク（３０）に格納される各データはメモリ上に記憶し、ランプ（４２）、モニタ（４０）などは設ないことで小型化を図る。

また、実施形態５の場合には、送信ユニット側にスピーカ（４１）を設けてヘッドフォンを構成し、受信ユニット側における対応動作実行部（２６）で音声合成処理をし、警告音声をヘッドフォンから発声させる。
このような構成にすることで、ユーザ側がマイクを持って音声入力をする必要がなく、また各ユーザに対して直接警告音を出力することができる。

さらに、このようなヘッドセットを作業現場や、オートバイの運転時に用いられるヘルメットに搭載することも好適である。
すなわち、作業現場やオートバイの運転時は危険な環境であって、感情状態が良好でない場合には、特にユーザに対して警告を発する必要性が高い。
従って、本発明の技術をヘルメットに搭載して、ヘルメットを装着することでユーザの音声を入力することができるようにすることは、安全性の向上に有効であり、本発明の効果が活用される好例である。
また、ヘルメットの外周部にランプ（４２）を配設して、他者がユーザの感情状態が好ましくない状態であることを認知することが出来るように構成してもよい。

本発明の第１の実施形態に係る感情状態反応動作装置の構成図である。 本発明における感情状態を判断する流れ図である。 感情状態が通常時の音韻スペクトルの強度を示すグラフである。 感情状態が眠い時の音韻スペクトルの強度を示すグラフである。 感情状態が通常時の音韻スペクトルの周波数を示すグラフである。 感情状態が眠い時の音韻スペクトルの周波数を示すグラフである。 感情状態が通常時の音韻スペクトルのホルマント周波数を示すグラフである。 感情状態が眠い時の音韻スペクトルのホルマント周波数を示すグラフである。 本発明における対応動作を判断する流れ図である。 本発明の第２の実施形態に係る感情状態反応動作装置の構成図である。 本発明に係るサポートベクトルマシンの説明図である。 本発明の第３の実施形態に係る感情状態反応動作装置の構成図である。 本発明の第４の実施形態における調光処理の説明図である。 本発明の第５の実施形態に係る感情状態反応動作装置の構成図である。

符号の説明

１ 感情状態反応動作装置
１０ マイク
２０ ＣＰＵ
２１ 音声入力部
２２ 音韻特徴量抽出部
２３ 発声要求部
２４ 状態判断部
２５ 対応動作選択部
２６ 対応動作実行部
３０ ハードディスク
３１ 状態判断テーブル
３２ 対応動作選択テーブル
４０ モニタ
４１ スピーカ
４２ ランプ

Claims (17)

1. ユーザの発する音声からそのユーザの感情状態を判断して適切な対応動作を実行する感情状態反応動作装置であって、
   音声情報を入力する音声入力手段と、
   該音声情報から該音声情報の音韻スペクトルに係る特徴量を抽出する音韻特徴量抽出手段と、
   該音韻特徴量を入力して、予め備えた状態判断テーブルに基づき音声情報の感情状態を判断する状態判断手段と、
   該感情状態を入力して、予め備えた対応動作選択テーブルに基づき対応動作処理を決定する対応動作選択手段と、
   該対応動作処理を実行する対応動作実行手段と
   を備えたことを特徴とする感情状態反応動作装置。
2. 前記感情状態反応動作装置が、
   所定の契機又は前記状態判断手段における判断結果に基づいて、
   ユーザに対し発声を促す発声要求手段を備える
   請求項１に記載の感情状態反応動作装置。
3. 前記感情状態反応動作装置が、
   感情状態学習用テーブルと感情状態学習手段を備え、
   該感情状態学習手段は、
   該感情状態学習テーブルに基づいて所定の機械学習モデルにより前記音韻特徴量と感情状態との関連を取得して状態判断テーブルに学習結果を保存し、
   前記状態判断手段は、
   該状態判断テーブルに基づいて上記機械学習モデルによる感情状態の判断を行う
   請求項１又は２に記載の感情状態反応動作装置。
4. 前記感情状態反応動作装置が、
   対応動作学習用テーブルと対応動作学習手段を備え、
   該対応動作学習手段は、
   該対応動作学習テーブルに基づいて所定の機械学習モデルにより前記感情状態と選択する対応動作との関連を取得して対応動作選択テーブルに学習結果を保存し、
   前記対応動作選択手段は、
   該対応動作選択テーブルに基づいて上記機械学習モデルによる対応動作の選択を行う
   請求項１ないし３に記載の感情状態反応動作装置。
5. 前記機械学習モデルが、
   最大エントロピーモデル、ニューラルネットワークモデル、サポートベクトルマシンモデル
   のいずれかである
   請求項４又は５に記載の感情状態反応動作装置。
6. 前記音韻特徴量抽出手段が、
   所定の音声語句における音素列の時間的間隔を特徴量として抽出する
   請求項１ないし５に記載の感情状態反応動作装置。
7. 前記音韻特徴量抽出手段が、
   所定の音声語句における音韻スペクトルの強度を特徴量として抽出する
   請求項１ないし６に記載の感情状態反応動作装置。
8. 前記音韻特徴量抽出手段が、
   所定の音声語句における音韻スペクトルの周波数を特徴量として抽出する
   請求項１ないし７に記載の感情状態反応動作装置。
9. 前記対応動作処理に、
   発光手段からの発光処理、又は音声発生手段からの音声発生処理を含む
   請求項１ないし８に記載の感情状態反応動作装置。
10. 前記感情状態反応動作装置が、照明手段を備える構成であって、
    前記対応動作処理に、
    照明光の調光処理を含む
    請求項１ないし８に記載の感情状態反応動作装置。
11. 前記感情状態反応動作装置が、所定の風景画像を少なくとも表示可能な画像表示手段を備える構成であって、
    前記対応動作処理に、
    画像表示手段において表示する風景画像の切り替え表示処理を含む
    請求項１ないし８に記載の感情状態反応動作装置。
12. 前記感情状態反応動作装置が、
    前記感情状態を送信する送信機及び、それを受信する受信機を備え、
    前記対応動作処理に、
    送信機から該感情状態を送信する処理と、
    受信機において該感情状態を受信する処理及び、発光手段からの発光処理、又は音声発生手段からの音声発生処理とを含む
    請求項１ないし８に記載の感情状態反応動作装置。
13. 前記感情状態反応動作装置が、
    ヘッドフォン部およびマイク部を少なくとも備えたヘッドセット形状をなし、ユーザの音声を音声情報としてマイク部で入力すると共に、
    前記対応動作実行手段が、
    前記状態判断手段により警告すべき状態であると判断した際には、該ユーザに対してヘッドフォン部から警告音声の発生処理を行う
    請求項１ないし８に記載の感情状態反応動作装置。
14. 前記感情状態反応動作装置が、
    ヘルメットに搭載される
    請求項１ないし８に記載の感情状態反応動作装置。
15. ユーザの発する音声からそのユーザの感情状態を判断して適切な対応動作を実行処理する感情状態反応動作方法であって、
    音声入力手段により、音声情報を入力する音声入力ステップ、
    音韻特徴量抽出手段により、該音声情報から該音声情報の音韻スペクトルに係る特徴量を抽出する音韻特徴量抽出ステップ、
    状態判断手段により、該音韻特徴量を入力して、予め備えた状態判断テーブルに基づき音声情報の感情状態を判断する状態判断ステップ、
    対応動作選択手段により、該感情状態を入力して、予め備えた対応動作選択テーブルに基づき対応動作処理を決定する対応動作選択ステップ、
    対応動作実行手段により、該対応動作処理を実行する対応動作実行ステップ
    の各ステップを含むことを特徴とする感情状態反応動作方法。
16. 前記感情状態反応動作方法が、
    予め用意した感情状態学習用テーブルを用い、前記音声入力ステップないし対応動作実行ステップに先立って、
    感情状態学習手段により、該感情状態学習テーブルに基づいて所定の機械学習モデルにより前記音韻特徴量と感情状態との関連を取得して状態判断テーブルに学習結果を保存する感情状態学習ステップ
    の処理を行うと共に、
    前記状態判断ステップにおいて、
    該状態判断テーブルに基づいて上記機械学習モデルによる感情状態の判断を行う
    請求項１５に記載の感情状態反応動作方法。
17. 前記感情状態反応動作方法が、
    予め用意した対応動作学習用テーブルを用い、前記音声入力ステップないし対応動作実行ステップに先立って、
    対応動作学習手段により、該対応動作学習テーブルに基づいて所定の機械学習モデルにより前記感情状態と選択する対応動作との関連を取得して対応動作選択テーブルに学習結果を保存する対応動作学習ステップ
    の処理を行うと共に、
    前記対応動作選択ステップにおいて、
    該対応動作選択テーブルに基づいて上記機械学習モデルによる対応動作の選択を行う
    請求項１５又は１６に記載の感情状態反応動作装置。
    
    

Images